Comment empêcher les moteurs de recherche d'explorer un site Web WordPress

Publié: 2021-07-05

arrêter de crawler le site WordPress

Empêcher les moteurs de recherche d'explorer un site Web WordPress

Chaque fois qu'un sujet particulier est recherché sur les moteurs de recherche, les moteurs de recherche vérifient divers contenus sur différents sites Web pour présenter les plus pertinents aux téléspectateurs.

C'est la raison pour laquelle les sites Web accordent une attention particulière à s'assurer que leurs sites Web restent à jour et trouvés facilement sur les moteurs de recherche.

Les différentes fonctions que les moteurs de recherche exécutent pour trouver des contenus pertinents sont l'exploration, l'indexation et le classement.

Crawling dans le processus où des logiciels tels que des robots d'indexation ou des araignées sont utilisés pour identifier le contenu le plus récent d'un site Web.

Cependant, comme ils ne vérifient souvent pas si des mises à jour sont effectuées sur des pages existantes ou si une nouvelle page est créée, ils peuvent éviter de visiter une page de site Web pendant un mois ou deux.

L'indexation est le processus par lequel les moteurs de recherche traitent et stockent les informations d'un site Web qu'ils considèrent comme pertinent sur une énorme base de données.

Ces informations peuvent être obtenues à partir de l'index lorsqu'une chaîne de mots clés est saisie.

Le classement est la méthode par laquelle les moteurs de recherche présentent les résultats par ordre de pertinence lorsqu'un sujet est recherché.

En localisant un site Web, les moteurs de recherche aident à améliorer le trafic organique vers un site Web particulier.

Par conséquent, on peut se demander pourquoi opter pour les moteurs de recherche pour arrêter de crawler un site WordPress .

La raison peut être diverse et ils sont discutés ci-dessous.

Site de mise en scène

Lorsque le site Web est encore «en cours de fonctionnement», les propriétaires de sites voudront supprimer leur site Web de la page de résultats du moteur de recherche ou des SERP jusqu'à ce que leur site Web soit prêt pour leur public.

Blogues privés

De nombreuses personnes utilisent WordPress pour créer des blogs privés. Puisqu'ils sont privés, ils préféreront empêcher que leurs sites soient crawlés ou indexés sur les moteurs de recherche.

intranet

WordPress est souvent utilisé pour l'intranet ou la gestion de projet.

Pour empêcher le public d'accéder aux documents internes, les utilisateurs peuvent souhaiter empêcher leur exploration.

Beaucoup de gens pensent que si des liens ne sont pas ajoutés au site Web, les moteurs de recherche ne peuvent pas les localiser.

Cependant, ce n'est pas vrai car les moteurs de recherche peuvent localiser un site Web de différentes manières.

Par conséquent, il est important de prendre les mesures nécessaires pour empêcher les moteurs de recherche d'explorer un site Web.

Empêcher les moteurs de recherche d'indexer le site Web WordPress

site de soumissions de moteur de recherche
Les moteurs de recherche peuvent arrêter d'explorer un site WordPress lorsque les utilisateurs prennent les mesures nécessaires.

Les méthodes suivantes empêcheront les moteurs de recherche d'indexer ou d'explorer un site Web sur WordPress. Discutons-en.

Méthode 1 : En utilisant la fonctionnalité intégrée d'un site Web WordPress

Dans cette méthode, les propriétaires de sites peuvent utiliser la fonctionnalité intégrée d'un site WordPress pour empêcher les moteurs de recherche d'explorer ou d'indexer un site Web.

Les étapes impliquées dans ce processus sont les suivantes :

Étape 1 : Visitez la zone d'administration du site WordPress et cliquez sur « Paramètres ». Dans la liste déroulante qui apparaît sous "Paramètres", cliquez sur "Lecture".

Étape 2 : Une option nommée "Visibilité du moteur de recherche" apparaîtra. Ensuite, cliquez sur la case qui mentionne « Décourager les moteurs de recherche d'indexer ce site ». Cela amènera WordPress à modifier le fichier robots.txt et à appliquer les règles qui empêcheront les moteurs de recherche d'indexer ou d'explorer le site Web.

Étape 3 : Cliquez sur le bouton « Enregistrer » pour confirmer les modifications.

Méthode 2 : Modification du fichier robots.txt

Si les utilisateurs choisissent d'empêcher l'indexation ou l'exploration via le processus manuel, ils peuvent le faire en modifiant le fichier robots.txt.

Ce fichier est situé dans le répertoire racine d'un site Web et il s'agit d'une méthode puissante qui empêchera les moteurs de recherche d'explorer un site WordPress.

Les étapes impliquées dans cette méthode sont décrites ci-dessous.

Étape 1 : Utilisez le « Gestionnaire de fichiers » ou le « Client FTP » pour accéder aux fichiers du site Web.

Étape 2 : Recherchez le fichier robots.txt. Généralement, il se trouve dans le même dossier que WordPress, qui est généralement le dossier « public_html ».

Cependant, si le fichier n'a pas pu être localisé, on peut créer un nouveau fichier vierge.

Étape 3 : Entrez la syntaxe suivante

Agent utilisateur:*
Interdire : /

Cette syntaxe indique aux robots d'indexation Web de ne pas indexer les pages du site Web.

Bien que la plupart des moteurs de recherche respectent cette instruction, certaines images ou pages aléatoires du site Web peuvent être indexées.

Mot de passe protégeant le site Web WordPress

Les utilisateurs peuvent protéger leur site Web contre les moteurs de recherche qui arrêtent d'explorer un site WordPress en lui fournissant une protection par mot de passe. Cela peut être fait en suivant les méthodes.

Méthode 1 : mot de passe protégeant le site Web à l'aide du panneau de contrôle d'hébergement

Dans cette méthode, les sites Web peuvent être protégés par un mot de passe en accédant au Panneau de configuration ou à cPanel.

Pour le client Hostinger

Les étapes suivantes vous aideront à protéger le site Web par mot de passe

Étape 1 : Visitez le panneau de configuration de Hostinger et cliquez sur l'icône 'Password Protect Directorys'

Étape 2 : Dans cette étape, sélectionnez le répertoire que vous souhaitez protéger, à savoir l'endroit où WordPress est installé.

Étape 3 : Après avoir sélectionné le répertoire, entrez le nom d'utilisateur et le mot de passe et cliquez sur le bouton « protéger ».

Utiliser cPanel

Les étapes suivantes doivent être effectuées lors de l'utilisation de cPanel

Étape 1 : Connectez-vous au compte cPanel et cliquez sur "Directory Privacy"

Étape 2 : Sélectionnez le dossier dans lequel WordPress est installé. Généralement, c'est 'public_html'

Étape 3 : Cliquez sur 'Password Protect this Directory' et entrez le nom du répertoire que l'on veut protéger. Cliquez sur le bouton 'Enregistrer' et remplissez le formulaire de 'Créer un utilisateur' qui peut accéder au répertoire protégé. Cliquez sur le bouton "Enregistrer" pour protéger par mot de passe le site Web WordPress.

Méthode 2 : Protégez WordPress par mot de passe en utilisant le plugin

Parfois, les utilisateurs peuvent ne pas avoir accès à cPanel s'ils utilisent une solution d'hébergement WordPress gérée.

Dans ce cas, ils peuvent utiliser des plugins pour protéger leur site Web par mot de passe.

Cette méthode empêchera les moteurs de recherche d'explorer un site WordPress.

Certains des plugins populaires utilisés à cette fin sont le plugin protégé par mot de passe, WordFence et autres.

Cependant, avant de sélectionner un plugin approprié, les utilisateurs doivent s'assurer qu'ils ont été récemment mis à jour.

Une fois installés, ils doivent accéder au paramètre et définir un nouveau mot de passe pour le site.

Ainsi, si les propriétaires de sites souhaitent protéger leurs sites Web contre l'indexation ou l'exploration par les moteurs de recherche, ils peuvent utiliser les méthodes mentionnées ci-dessus.

BTW si vous recherchez des étapes pour améliorer la présence de votre site WordPress sur les moteurs de recherche ?. Vous devriez vérifier le lien partagé.