Cara Menghentikan Mesin Pencari dari Merangkak Situs WordPress

Cegah mesin pencari merayapi situs web WordPress

Setiap kali topik tertentu sedang dicari di mesin pencari, mesin pencari memeriksa berbagai konten di situs web yang berbeda untuk menyajikan yang paling relevan kepada pemirsa.

Inilah alasan mengapa situs web memberikan perhatian khusus untuk memastikan bahwa situs web mereka tetap diperbarui dan ditemukan dengan mudah di mesin telusur.

Berbagai fungsi yang dilakukan mesin pencari untuk menemukan konten yang relevan adalah perayapan, pengindeksan, dan pemeringkatan.

Perayapan dalam proses di mana perangkat lunak seperti perayap web atau laba-laba digunakan untuk mengidentifikasi konten terbaru dari sebuah situs web.

Namun, karena mereka sering tidak memeriksa apakah pembaruan sedang dilakukan pada halaman yang ada atau apakah halaman baru dibuat, mereka mungkin menghindari mengunjungi halaman situs web selama satu atau dua bulan.

Pengindeksan adalah proses di mana mesin pencari memproses dan menyimpan informasi dari situs web yang mereka anggap relevan pada basis data besar.

Informasi ini dapat diperoleh dari indeks ketika string kata kunci dimasukkan.

Pemeringkatan adalah metode di mana mesin pencari menyajikan hasil dalam urutan relevansi ketika suatu topik sedang dicari.

Dengan menemukan situs web, mesin pencari membantu meningkatkan lalu lintas organik ke situs web tertentu.

Oleh karena itu, orang mungkin bertanya-tanya mengapa seseorang harus memilih mesin pencari untuk berhenti merayapi situs web WordPress .

Alasannya bisa bermacam-macam dan dibahas di bawah ini.

Situs pementasan

Ketika situs web masih 'sedang bekerja', pemilik situs akan ingin menghapus situs web mereka dari halaman hasil mesin pencari atau SERP hingga situs web mereka siap untuk audiens mereka.

Blog Pribadi

Banyak orang menggunakan WordPress untuk membangun blog pribadi. Karena bersifat pribadi, mereka akan lebih memilih untuk mencegah situs web mereka dirayapi atau diindeks di mesin telusur.

intranet

WordPress sering digunakan untuk intranet atau manajemen proyek.

Untuk mencegah dokumen internal diakses oleh publik, pengguna mungkin ingin mencegahnya dari perayapan.

Banyak orang memiliki konsepsi bahwa jika tautan tidak ditambahkan ke situs web, maka mesin pencari tidak dapat menemukannya.

Namun, ini tidak benar karena ada berbagai cara di mana mesin pencari dapat menemukan situs web.

Oleh karena itu, penting untuk mengambil tindakan yang diperlukan untuk mencegah mesin telusur merayapi situs web.

Mencegah Mesin Pencari mengindeks Situs WordPress

Mesin pencari dapat berhenti merayapi situs WordPress ketika pengguna mengambil tindakan yang diperlukan yang terlibat di dalamnya.

Metode berikut akan mencegah mesin pencari mengindeks atau merayapi situs web di WordPress. Mari kita bahas mereka.

Metode 1: Dengan memanfaatkan fitur bawaan dari situs web WordPress

Dalam metode ini, pemilik situs dapat menggunakan fitur bawaan situs WordPress untuk mencegah mesin pencari merayapi atau mengindeks situs web.

Langkah-langkah yang dilakukan dalam proses ini adalah sebagai berikut:

Langkah 1: Kunjungi area admin situs WordPress dan klik 'Pengaturan'. Dari daftar drop-down yang muncul di bawah 'Setelan', klik 'Membaca'.

Langkah 2: Opsi bernama 'Visibilitas Mesin Pencari' akan muncul. Di sebelahnya, klik kotak yang menyebutkan 'Harang mesin telusur mengindeks situs ini'. Ini akan menyebabkan WordPress mengedit file robots.txt dan menerapkan aturan yang akan memblokir mesin pencari untuk mengindeks atau merayapi situs web.

Langkah 3: Klik tombol 'simpan' untuk mengonfirmasi perubahan.

Metode 2: Mengedit file robots.txt

Jika pengguna memilih untuk mencegah pengindeksan atau perayapan melalui proses manual, mereka dapat melakukannya dengan mengedit file robots.txt.

File ini terletak di direktori root sebuah situs web dan ini adalah metode yang ampuh yang akan mengakibatkan mesin pencari berhenti merayapi situs WordPress.

Langkah-langkah yang terlibat dalam metode ini dibahas di bawah ini.

Langkah 1: Gunakan 'File Manager' atau 'FTP client' untuk mengakses file situs web.

Langkah 2: Temukan file robots.txt. Umumnya bisa ditemukan di folder yang sama dengan WordPress yang biasanya folder 'public_html'.

Namun, jika file tidak dapat ditemukan, Anda dapat membuat file kosong baru.

Langkah 3: Masukkan sintaks berikut

Agen pengguna:*
Larang: /

Sintaks ini menginstruksikan perayap web untuk tidak mengindeks halaman situs web.

Meskipun, sebagian besar mesin pencari menghormati instruksi ini, namun, beberapa gambar atau halaman acak di situs web mungkin diindeks.

Melindungi Kata Sandi Situs WordPress

Pengguna dapat melindungi situs web mereka dari mesin pencari yang berhenti merayapi situs WordPress, dengan memberikannya perlindungan kata sandi. Ini dapat dilakukan dengan metode berikut.

Metode 1: Kata sandi melindungi situs web menggunakan Panel Kontrol hosting

Dalam metode ini, situs web dapat dilindungi dengan kata sandi melalui akses ke Control Panel atau cPanel.

Untuk klien Hostinger

Langkah-langkah berikut akan membantu dalam melindungi situs web dengan kata sandi

Langkah 1: Kunjungi control panel Hostinger dan klik ikon 'Password Protect Directories'

Langkah 2: Pada langkah ini pilih direktori yang ingin dilindungi, di mana WordPress diinstal.

Langkah 3: Setelah memilih direktori, masukkan nama pengguna dan kata sandi dan klik tombol 'lindungi'.

Menggunakan cPanel

Langkah-langkah berikut harus dilakukan saat menggunakan cPanel:

Langkah 1: Masuk ke akun cPanel dan klik 'Privasi Direktori'

Langkah 2: Pilih folder tempat WordPress diinstal. Umumnya, ini adalah 'public_html'

Langkah 3: Klik 'Password Protect this Directory' dan masukkan nama direktori yang ingin dilindungi. Klik tombol 'Simpan' dan isi formulir 'Buat Pengguna' yang dapat mengakses direktori yang dilindungi. Klik tombol 'simpan' untuk melindungi situs WordPress dengan kata sandi.

Metode 2: Lindungi Kata Sandi WordPress dengan menggunakan Plugin

Terkadang pengguna mungkin tidak memiliki akses ke cPanel jika mereka menggunakan solusi hosting WordPress yang dikelola.

Dalam hal ini, mereka mungkin menggunakan plugin untuk melindungi situs web mereka dengan kata sandi.

Metode ini akan menyebabkan mesin pencari berhenti merayapi situs WordPress.

Beberapa plugin populer yang digunakan untuk tujuan ini adalah plugin Password Protected, WordFence dan lain-lain.

Namun, sebelum memilih plugin yang sesuai, pengguna harus memastikan bahwa mereka baru saja diperbarui.

Setelah diinstal, mereka harus pergi ke pengaturan dan menetapkan kata sandi baru untuk situs tersebut.

Jadi, jika pemilik situs ingin melindungi situs web mereka agar tidak diindeks atau dirayapi oleh mesin pencari, mereka dapat menggunakan metode yang disebutkan di atas.

BTW jika Anda mencari langkah-langkah untuk meningkatkan kehadiran mesin pencari situs web WordPress Anda?. Anda harus memeriksa tautan yang dibagikan.