如何阻止搜索引擎抓取 WordPress 網站

阻止搜索引擎抓取 WordPress 網站

每當在搜索引擎上搜索特定主題時，搜索引擎都會檢查不同網站上的各種內容，以將最相關的內容呈現給查看者。

這就是網站特別注意確保其網站保持更新並在搜索引擎上輕鬆找到的原因。

搜索引擎為查找相關內容而執行的各種功能是爬網、索引和排名。

在使用網絡爬蟲或蜘蛛等軟件識別網站最新內容的過程中進行爬取。

但是，由於他們通常不檢查是否對現有頁面進行了更新或是否創建了任何新頁面，因此他們可能會在一兩個月內避免訪問網站頁面。

索引是搜索引擎處理和存儲他們認為與大型數據庫相關的網站信息的過程。

當輸入一串關鍵字時，可以從索引中獲取此信息。

排名是搜索引擎在搜索主題時按相關性順序顯示結果的方法。

通過定位網站，搜索引擎有助於改善特定網站的自然流量。

因此，有人可能想知道為什麼要選擇搜索引擎停止抓取 WordPress 網站。

原因可能多種多樣，下面將對其進行討論。

登台地點

當網站仍在“工作中”時，網站所有者將希望從搜索引擎結果頁面或 SERP 中刪除他們的網站，直到他們的網站為他們的受眾做好準備。

私人博客

許多人使用 WordPress 建立私人博客。 由於它們是私有的，因此他們更願意防止其網站被搜索引擎抓取或編入索引。

內聯網

WordPress 通常用於 Intranet 或項目管理。

為了防止內部文檔被公眾訪問，用戶可能希望阻止其爬網。

很多人有這樣的觀念，如果網站不添加鏈接，那麼搜索引擎就無法找到它們。

但是，事實並非如此，因為搜索引擎可以通過多種方式找到網站。

因此，採取必要措施防止搜索引擎抓取網站非常重要。

防止搜索引擎索引 WordPress 網站

當用戶採取必要的操作時，搜索引擎可以停止抓取 WordPress 網站。

以下方法將阻止搜索引擎索引或爬取 WordPress 上的網站。 讓我們討論一下。

方法一：利用WordPress網站的內置功能

在這種方法中，網站所有者可以使用 WordPress 網站的內置功能來防止搜索引擎抓取或索引網站。

此過程涉及的步驟如下：

第 1 步：訪問 WordPress 網站的管理區域，然後單擊“設置”。 從“設置”下方顯示的下拉列表中，單擊“閱讀”。

第 2 步：將出現一個名為“搜索引擎可見性”的選項。 接下來，單擊“阻止搜索引擎索引此站點”的框。 這將導致 WordPress 編輯 robots.txt 文件並應用阻止搜索引擎索引或抓取網站的規則。

第 3 步：單擊“保存”按鈕以確認更改。

方法 2：編輯 robots.txt 文件

如果用戶選擇通過手動過程阻止索引或爬網，他們可以通過編輯 robots.txt 文件來實現。

該文件位於網站的根目錄，這是一種強大的方法，可導致搜索引擎停止抓取 WordPress 網站。

下面討論該方法中涉及的步驟。

第 1 步：使用“文件管理器”或“FTP 客戶端”訪問網站文件。

第 2 步：找到 robots.txt 文件。 通常，它可以在與 WordPress 相同的文件夾中找到，通常是“public_html”文件夾。

但是，如果找不到該文件，可以創建一個新的空白文件。

第 3 步：輸入以下語法

用戶代理：*
不允許： /

此語法指示網絡爬蟲不索引網站頁面。

雖然，大多數搜索引擎都遵守此指令，但是，網站中的一些隨機圖像或頁面可能會被編入索引。

密碼保護 WordPress 網站

用戶可以通過提供密碼保護來保護他們的網站免受搜索引擎的影響，停止抓取 WordPress 網站。 這可以通過以下方法來完成。

方法1：使用主機控制面板密碼保護網站

在這種方法中，可以通過訪問控制面板或 cPanel 使用密碼保護網站。

對於 Hostinger 客戶端

以下步驟將有助於密碼保護網站

第 1 步：訪問 Hostinger 控制面板並單擊“密碼保護目錄”圖標

第2步：在這一步中選擇要保護的目錄，即安裝WordPress的位置。

第三步：選擇目錄後，輸入用戶名和密碼，點擊“保護”按鈕。

使用 cPanel

使用 cPanel 時需要執行以下步驟

第 1 步：登錄到 cPanel 帳戶並點擊“目錄隱私”

第 2 步：選擇安裝 WordPress 的文件夾。 一般是'public_html'

第 3 步：單擊“密碼保護此目錄”並輸入要保護的目錄的名稱。 單擊“保存”按鈕並填寫可以訪問受保護目錄的“創建用戶”表格。 單擊“保存”按鈕以密碼保護 WordPress 網站。

方法2：使用插件密碼保護WordPress

有時，如果用戶使用託管 WordPress 託管解決方案，他們可能無法訪問 cPanel。

在這種情況下，他們可能會使用插件來密碼保護他們的網站。

此方法將導致搜索引擎停止抓取 WordPress 網站。

用於此目的的一些流行插件是密碼保護插件、WordFence 等。

但是，在選擇合適的插件之前，用戶必須確保它們是最近更新的。

安裝後，他們需要轉到設置並為該站點設置一個新密碼。

因此，如果網站所有者想要保護他們的網站不被搜索引擎索引或抓取，他們可以使用上述方法。

順便說一句，如果您正在尋找改善 WordPress 網站搜索引擎存在的步驟？ 您應該檢查共享的鏈接。