検索エンジンがWordPressウェブサイトをクロールするのを止める方法
公開: 2021-07-05
検索エンジンがWordPressWebサイトをクロールしないようにする
特定のトピックが検索エンジンで検索されているときはいつでも、検索エンジンはさまざまなWebサイトのさまざまなコンテンツをチェックして、視聴者に最も関連性の高いコンテンツを提示します。
これが、ウェブサイトが常に最新の状態に保たれ、検索エンジンで簡単に見つけられるようにするために、ウェブサイトが特別な注意を払う理由です。
関連するコンテンツを見つけるために検索エンジンが実行するさまざまな機能は、クロール、インデックス作成、およびランク付けです。
Webクローラーやスパイダーなどのソフトウェアを使用してWebサイトの最新のコンテンツを識別するプロセスでのクロール。
ただし、既存のページが更新されているかどうか、または新しいページが作成されているかどうかを確認しないことが多いため、1〜2か月はWebサイトのページにアクセスしない場合があります。
インデックス作成は、検索エンジンが巨大なデータベースに関連すると見なすWebサイトの情報を処理および保存するプロセスです。
この情報は、キーワードの文字列が入力されたときにインデックスから取得できます。
ランキングは、トピックが検索されているときに、検索エンジンが関連性の高い順に結果を表示する方法です。
ウェブサイトを見つけることにより、検索エンジンは特定のウェブサイトへのオーガニックトラフィックを改善するのに役立ちます。
したがって、 WordPressWebサイトのクロールを停止するために検索エンジンを選択する必要があるのはなぜか疑問に思うかもしれません。
理由はさまざまですが、以下で説明します。
ステージングサイト
ウェブサイトがまだ「機能中」の場合、サイト所有者は、ウェブサイトがオーディエンスに対応できるようになるまで、検索エンジンの結果ページまたはSERPからウェブサイトを削除することをお勧めします。
プライベートブログ
多くの人がWordPressを使用してプライベートブログを作成しています。 彼らはプライベートなので、彼らは彼らのウェブサイトが検索エンジンでクロールされたり索引付けされたりするのを防ぐことを好むでしょう。
イントラネット
WordPressは、イントラネットやプロジェクト管理によく使用されます。
内部ドキュメントが一般にアクセスされないようにするために、ユーザーは内部ドキュメントがクロールされないようにすることができます。
多くの人々は、リンクがWebサイトに追加されていない場合、検索エンジンはそれらを見つけることができないというこの概念を持っています。
ただし、検索エンジンがWebサイトを見つけるにはさまざまな方法があるため、これは当てはまりません。
したがって、検索エンジンがWebサイトをクロールしないように必要なアクションを実行することが重要です。
検索エンジンによるWordPressWebサイトのインデックス作成の防止
ユーザーがWordPressサイトに関連する必要なアクションを実行すると、検索エンジンはWordPressサイトのクロールを停止できます。
次の方法は、検索エンジンがWordPressでWebサイトのインデックスを作成したりクロールしたりするのを防ぎます。 それらについて話し合いましょう。
方法1：WordPressWebサイトの組み込み機能を利用する
この方法では、サイト所有者はWordPressサイトの組み込み機能を使用して、検索エンジンがWebサイトをクロールまたはインデックス作成するのを防ぐことができます。
このプロセスに含まれる手順は次のとおりです。
ステップ1： WordPressサイトの管理エリアにアクセスし、[設定]をクリックします。 [設定]の下に表示されるドロップダウンリストから、[読み取り]をクリックします。
ステップ2： 「検索エンジンの可視性」という名前のオプションが表示されます。 次に、「検索エンジンがこのサイトのインデックスを作成しないようにする」というボックスをクリックします。 これにより、WordPressはrobots.txtファイルを編集し、検索エンジンがWebサイトのインデックス作成やクロールをブロックするルールを適用します。
ステップ3： [保存]ボタンをクリックして変更を確認します。
方法2：robots.txtファイルを編集する
ユーザーが手動プロセスでインデックス作成やクロールを防止することを選択した場合は、robots.txtファイルを編集することでこれを行うことができます。
このファイルはWebサイトのルートディレクトリにあり、検索エンジンがWordPressサイトのクロールを停止する強力な方法です。
この方法に含まれる手順については、以下で説明します。
ステップ1： 「ファイルマネージャー」または「FTPクライアント」を使用してWebサイトファイルにアクセスします。
ステップ2： robots.txtファイルを見つけます。 通常、WordPressと同じフォルダ（通常は「public_html」フォルダ）にあります。
ただし、ファイルが見つからなかった場合は、新しい空のファイルを作成できます。
ステップ3：次の構文を入力します
ユーザーエージェント：* 禁止：/
この構文は、WebクローラーにWebサイトページのインデックスを作成しないように指示します。
ただし、ほとんどの検索エンジンはこの命令を尊重しますが、Webサイトの一部のランダムな画像またはページがインデックスに登録される場合があります。
WordPressウェブサイトを保護するパスワード
ユーザーは、パスワード保護を提供することにより、検索エンジンがWordPressサイトのクロールを停止するのを防ぐことができます。 これは、次の方法で実行できます。 
方法1：ホスティングコントロールパネルを使用してWebサイトをパスワードで保護する
この方法では、コントロールパネルまたはcPanelにアクセスして、パスワードでWebサイトを保護できます。
Hostingerクライアントの場合
次の手順は、Webサイトをパスワードで保護するのに役立ちます
ステップ1： Hostingerコントロールパネルにアクセスし、[パスワード保護ディレクトリ]アイコンをクリックします
ステップ2：このステップでは、保護したいディレクトリを選択します。このディレクトリは、WordPressがインストールされている場所です。
ステップ3：ディレクトリを選択した後、ユーザー名とパスワードを入力し、[保護]ボタンをクリックします。
cPanelの使用
cPanelを使用しているときに実行するには、次の手順が必要です
ステップ1： cPanelアカウントにログインし、[ディレクトリプライバシー]をクリックします
ステップ2： WordPressがインストールされているフォルダーを選択します。 通常は「public_html」です
ステップ3： [このディレクトリをパスワードで保護する]をクリックし、保護するディレクトリの名前を入力します。 [保存]ボタンをクリックして、保護されたディレクトリにアクセスできる[ユーザーの作成]のフォームに入力します。 「保存」ボタンをクリックして、WordPressWebサイトをパスワードで保護します。
方法2：プラグインを使用してWordPressをパスワードで保護する
マネージドWordPressホスティングソリューションを使用している場合、ユーザーがcPanelにアクセスできない場合があります。
その場合、プラグインを使用してWebサイトをパスワードで保護する可能性があります。
この方法により、検索エンジンはWordPressサイトのクロールを停止します。
この目的で使用される人気のあるプラグインには、Password Protectedプラグイン、WordFenceなどがあります。
ただし、適切なプラグインを選択する前に、ユーザーはプラグインが最近更新されたことを確認する必要があります。
インストールしたら、設定に移動して、サイトの新しいパスワードを設定する必要があります。
したがって、サイト所有者が自分のWebサイトを検索エンジンによるインデックス作成やクロールから保護したい場合は、上記の方法を使用できます。
ところで、あなたがあなたのワードプレスのウェブサイトの検索エンジンの存在を改善するためのステップを探しているなら？ 共有されているリンクを確認する必要があります。