Wie man Suchmaschinen daran hindert, eine WordPress-Website zu crawlen

Verhindern Sie, dass Suchmaschinen eine WordPress-Website crawlen

Wenn in Suchmaschinen nach einem bestimmten Thema gesucht wird, überprüfen die Suchmaschinen verschiedene Inhalte auf verschiedenen Websites, um den Zuschauern die relevantesten zu präsentieren.

Aus diesem Grund legen Websites besonderes Augenmerk darauf, dass ihre Websites auf dem neuesten Stand bleiben und von Suchmaschinen leicht gefunden werden.

Die verschiedenen Funktionen, die Suchmaschinen ausführen, um relevante Inhalte zu finden, sind Crawling, Indizierung und Ranking.

Crawling ist ein Vorgang, bei dem Software wie Webcrawler oder Spider verwendet werden, um die neuesten Inhalte einer Website zu ermitteln.

Da sie jedoch häufig nicht prüfen, ob Aktualisierungen an bestehenden Seiten vorgenommen oder ob neue Seiten erstellt werden, vermeiden sie möglicherweise den Besuch einer Website-Seite für ein oder zwei Monate.

Indexierung ist der Prozess, bei dem Suchmaschinen Informationen einer Website, die sie für relevant halten, in einer riesigen Datenbank verarbeiten und speichern.

Diese Informationen können aus dem Index abgerufen werden, wenn eine Reihe von Schlüsselwörtern eingegeben wird.

Das Ranking ist die Methode, mit der Suchmaschinen Ergebnisse in der Reihenfolge ihrer Relevanz präsentieren, wenn ein Thema gesucht wird.

Durch das Auffinden einer Website helfen Suchmaschinen dabei, den organischen Traffic zu einer bestimmten Website zu verbessern.

Daher könnte man sich fragen, warum man sich dafür entscheiden sollte, dass Suchmaschinen das Crawlen einer WordPress-Website stoppen .

Die Gründe können vielfältig sein und werden im Folgenden besprochen.

Staging-Site

Wenn die Website noch „unter Arbeit“ ist, werden Websitebesitzer ihre Website von der Suchmaschinenergebnisseite oder den SERPs entfernen wollen, bis ihre Website für ihr Publikum bereit ist.

Private Blogs

Viele Menschen nutzen WordPress, um private Blogs aufzubauen. Da sie privat sind, werden sie es vorziehen, zu verhindern, dass ihre Websites von Suchmaschinen gecrawlt oder indiziert werden.

Intranet

WordPress wird häufig für Intranet- oder Projektmanagement verwendet.

Um zu verhindern, dass die Öffentlichkeit auf die internen Dokumente zugreift, möchten Benutzer möglicherweise verhindern, dass sie gecrawlt werden.

Viele Menschen haben die Vorstellung, dass die Suchmaschinen sie nicht finden können, wenn keine Links zur Website hinzugefügt werden.

Dies ist jedoch nicht richtig, da es verschiedene Möglichkeiten gibt, wie Suchmaschinen eine Website finden können.

Daher ist es wichtig, die notwendigen Maßnahmen zu ergreifen, um zu verhindern, dass Suchmaschinen eine Website crawlen.

Verhindern, dass Suchmaschinen die WordPress-Website indizieren

Suchmaschinen können das Crawlen einer WordPress-Site stoppen, wenn die Benutzer die erforderlichen Maßnahmen ergreifen, die damit verbunden sind.

Die folgenden Methoden hindern Suchmaschinen daran, eine Website auf WordPress zu indizieren oder zu crawlen. Lassen Sie uns darüber diskutieren.

Methode 1: Durch Nutzung der eingebauten Funktion einer WordPress-Website

Bei dieser Methode können Websitebesitzer die eingebaute Funktion einer WordPress-Website verwenden, um zu verhindern, dass die Suchmaschinen eine Website crawlen oder indizieren.

Die an diesem Prozess beteiligten Schritte sind wie folgt:

Schritt 1: Besuchen Sie den Admin-Bereich der WordPress-Seite und klicken Sie auf „Einstellungen“. Klicken Sie in der Dropdown-Liste, die unter „Einstellungen“ angezeigt wird, auf „Lesen“.

Schritt 2: Eine Option mit dem Namen „Suchmaschinensichtbarkeit“ wird angezeigt. Klicken Sie daneben auf das Kästchen mit der Aufschrift „Suchmaschinen davon abhalten, diese Website zu indizieren“. Dies veranlasst WordPress, die robots.txt-Datei zu bearbeiten und die Regeln anzuwenden, die die Suchmaschinen daran hindern, die Website zu indizieren oder zu crawlen.

Schritt 3: Klicken Sie auf die Schaltfläche „Speichern“, um die Änderungen zu bestätigen.

Methode 2: Bearbeiten der robots.txt-Datei

Wenn sich die Benutzer dafür entscheiden, die Indexierung oder das Crawling durch den manuellen Prozess zu verhindern, können sie dies tun, indem sie die robots.txt-Datei bearbeiten.

Diese Datei befindet sich im Stammverzeichnis einer Website und dies ist eine leistungsstarke Methode, die dazu führt, dass Suchmaschinen das Crawlen einer WordPress-Site stoppen.

Die an diesem Verfahren beteiligten Schritte werden unten diskutiert.

Schritt 1: Verwenden Sie den „Dateimanager“ oder „FTP-Client“, um auf die Website-Dateien zuzugreifen.

Schritt 2: Suchen Sie die robots.txt-Datei. Im Allgemeinen kann es im selben Ordner wie WordPress gefunden werden, was normalerweise der Ordner „public_html“ ist.

Wenn die Datei jedoch nicht gefunden werden konnte, kann man eine neue leere Datei erstellen.

Schritt 3: Geben Sie die folgende Syntax ein

User-Agent:*
Nicht zulassen: /

Diese Syntax weist die Webcrawler an, die Seiten der Website nicht zu indizieren.

Obwohl die meisten Suchmaschinen diese Anweisung respektieren, können einige zufällige Bilder oder Seiten auf der Website indiziert werden.

Passwortschutz der WordPress-Website

Benutzer können ihre Website davor schützen, dass Suchmaschinen eine WordPress-Site nicht mehr crawlen, indem sie einen Passwortschutz bereitstellen. Dies kann durch die folgenden Verfahren erfolgen.

Methode 1: Passwortschutz der Website über das Hosting-Control-Panel

Bei dieser Methode können Websites durch Zugriff auf das Control Panel oder cPanel mit einem Passwort geschützt werden.

Für Hostinger-Client

Die folgenden Schritte helfen beim Passwortschutz der Website

Schritt 1: Besuchen Sie das Hostinger-Kontrollfeld und klicken Sie auf das Symbol „Kennwortgeschützte Verzeichnisse“.

Schritt 2: In diesem Schritt wählen Sie das Verzeichnis aus, das Sie schützen möchten, das der Ort ist, an dem WordPress installiert ist.

Schritt 3: Nachdem Sie das Verzeichnis ausgewählt haben, geben Sie den Benutzernamen und das Passwort ein und klicken Sie auf die Schaltfläche „Schützen“.

Verwendung von cPanel

Die folgenden Schritte müssen bei der Verwendung von cPanel ausgeführt werden

Schritt 1: Melden Sie sich beim cPanel-Konto an und klicken Sie auf „Verzeichnisdatenschutz“.

Schritt 2: Wählen Sie den Ordner aus, in dem WordPress installiert ist. Im Allgemeinen ist es "public_html".

Schritt 3: Klicken Sie auf „Kennwortschutz für dieses Verzeichnis“ und geben Sie den Namen des Verzeichnisses ein, das Sie schützen möchten. Klicken Sie auf die Schaltfläche „Speichern“ und füllen Sie das Formular „Benutzer erstellen“ aus, das auf das geschützte Verzeichnis zugreifen kann. Klicken Sie auf die Schaltfläche „Speichern“, um die WordPress-Website mit einem Passwort zu schützen.

Methode 2: WordPress mit einem Passwort schützen, indem Sie ein Plugin verwenden

Manchmal haben Benutzer möglicherweise keinen Zugriff auf cPanel, wenn sie eine verwaltete WordPress-Hosting-Lösung verwenden.

In diesem Fall könnten sie Plugins verwenden, um ihre Website mit einem Passwort zu schützen.

Diese Methode führt dazu, dass Suchmaschinen das Crawlen einer WordPress-Site beenden.

Einige der beliebten Plugins, die für diesen Zweck verwendet werden, sind das passwortgeschützte Plugin, WordFence und andere.

Vor der Auswahl eines geeigneten Plugins müssen Benutzer jedoch sicherstellen, dass sie kürzlich aktualisiert wurden.

Sobald sie installiert sind, müssen sie zu den Einstellungen gehen und ein neues Passwort für die Site festlegen.

Wenn die Websitebesitzer also ihre Websites davor schützen möchten, von Suchmaschinen indexiert oder gecrawlt zu werden, können sie die oben genannten Methoden verwenden.

Übrigens, wenn Sie nach Schritten suchen, um die Suchmaschinenpräsenz Ihrer WordPress-Website zu verbessern?. Sie sollten den freigegebenen Link überprüfen.