如何通過示例為 SEO 優化 WordPress Robots.txt
已發表: 2021-12-20SEO一直是網站所有者的首要任務。 前五名的結果獲得了 75% 的點擊次數，爭奪更高排名一直是一項挑戰。 有各種頁外和頁內 SEO 技術可以發揮作用。 優化 Robot.txt 文件是可以加強網站 SEO 的技巧之一。
但是，大多數初學者不知道如何針對 SEO 優化 WordPress Robots.txt。 有些人可能一開始甚至不知道 robots.txt 文件是什麼。
幸運的是，這篇文章助您一臂之力。
在這裡，我們將解釋什麼是 robots.txt 文件，如何創建 robots.txt 文件，以及如何針對 SEO 優化 robots.txt 文件。 我們還在最後添加了一些常見問題解答。 所以請確保你和我們在一起直到最後。
現在，讓我們開始吧！
目錄
- 什麼是 Robots.txt 文件？
- Robots.txt 文件是什麼樣的？
- 為什麼在 WordPress 中需要 Robots.txt 文件？
- 如何為您的網站創建 Robots.txt？
- 方法 1：使用 Rank Math 插件創建 Robots.txt 文件
- 方法 2：使用 FTP 創建 Robots.txt 文件
- 將 Robots.txt 文件放在哪裡？
- 如何測試 Robots.txt 文件？
- Robots.txt 文件的優點
- robots.txt 文件的缺點
- 常見問題 (FAQ)
- 什麼是網絡爬蟲？
- 什麼是索引？
- 抓取預算是多少？
- 結論
什麼是 Robots.txt 文件？
WordPress 中的 Robots.txt 是一個純文本文件，它通知搜索引擎機器人要抓取和索引您網站上的哪些頁面。 您還可以格式化文件以從索引中排除頁面。
robots.txt 存儲在 WordPress 根目錄中。 該文件的基本格式如下所示：
User-agent: [user-name] Disallow: [URL of the string not to be crawled] Allow: [URL of the string to be crawled] Sitemap: [URL of your WordPress XML Sitemap]Robots.txt 文件是什麼樣的？
robots.txt 文件只是幾行文本，可指導搜索引擎如何以及在您的網站上抓取什麼內容。 您在此文件中有多行來允許或限制特定頁面 URL。 您還可以添加多個站點地圖。 如果您禁止某個 URL，則搜索引擎機器人不會抓取該頁面。
以下是 robots.txt 文件的示例：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Sitemap: https://URL/sitemap_index.xml現在，讓我們了解一下可以在 robots 文件中找到的這四個主要術語：
- User-agent ：User-agent 是您提供抓取指令的特定網絡爬蟲。 它通常是一個搜索引擎。
- Allow ：Allow 是告訴 Googlebot 它可以訪問頁面或子文件夾的命令，即使其子文件夾或父頁面可能被禁止。
- Disallow ：disallow 命令告訴用戶代理不要抓取特定的 URL。 每個 URL 只能包含一個“Disallow:”行。
- 站點地圖：站點地圖用於標註與此 URL 相關的任何 XML 站點地圖的位置。 此命令僅受 Google、Bing、Ask 和 Yahoo 支持。
在上面的示例中，我們允許搜索機器人抓取並索引上傳文件夾，但限制了插件文件夾。 最後，我們允許對 XML 站點地圖進行索引。
User-Agent後面的星號表示文本適用於所有搜索引擎機器人。 每個搜索引擎都有自己的用戶代理來索引網站。 以下是一些流行搜索引擎的一些用戶代理：
- 谷歌：谷歌機器人
- Googlebot 圖片：Googlebot 圖片
- Googlebot 新聞：Googlebot 新聞
- Googlebot 視頻：Googlebot 視頻
- 雅虎：啜食機器人
- 必應：Bingbot
- 亞馬遜的 Alexa：ia_archiver
- DuckDuckGo：鴨鴨機器人
- Yandex：YandexBot
- 百度：百度蜘蛛
- Exalead：ExaBot
現在有很多用戶代理。 如果您想專注於特定的搜索引擎，您甚至可以在 robots.txt 文件中指定它。 也就是說，要為 Googlebot 設置指令，您可以將 robots.txt 文件的第一行編寫為：
用戶代理：Googlebot
為什麼在 WordPress 中需要 Robots.txt 文件？
即使您沒有 robots.txt 文件，搜索機器人也會抓取您的網站並將其編入索引。 那麼，為什麼你真的需要它呢？ 好吧，使用 robots.txt 文件，您可以指示搜索引擎在某些頁面上優先編制索引。 此外，您可以排除不想編制索引的頁面或文件夾。
當您第一次使用時，這不會產生更大的影響 開始一個博客，沒有很多內容。 但是，在您的網站增長並擁有大量內容後，您可能需要優先對某個頁面/帖子/文件夾進行索引並否定一些。
你看，每個網站的每個搜索機器人都有一個配額。 這意味著機器人在某個抓取會話中抓取一定數量的頁面。 如果機器人在該特定會話中沒有完成爬行，機器人會返回並在下一個會話中繼續爬行。 這會減慢您的網站索引速度。
因此，通過使用 robots.txt 文件，您可以將搜索機器人定向到您想要索引以及包含哪些頁面、文件和文件夾。 通過這樣做，您可以節省爬網配額。 這可能不是向公眾隱藏您的內容的最安全方法，但它可以防止那些被排除的內容出現在 SERP 中。
如何為您的網站創建 Robots.txt？
您可以通過兩種不同的方式創建 robots.txt。 我們將在下面解釋這些方法。 然後，您可以按照您認為最適合您的方法進行操作。
方法 1：使用 Rank Math 插件創建 Robots.txt 文件
在這裡，我們將向您展示如何使用流行的 Rank Math 插件創建 robots.txt 文件。
Rank Math 是一個 SEO WordPress 插件，它可以通過基於廣泛接受的最佳實踐的內置建議輕鬆優化您的網站內容。 使用這個方便的工具，您可以輕鬆自定義重要的 SEO 設置並控制可索引的頁面。
為了使用 Rank Math 插件創建 robots.txt 文件，首先，通過從 WordPress 管理儀表板轉到插件 -> 添加新插件來下載插件。
現在，在搜索欄中搜索 Rank Math，找到插件後單擊立即安裝並激活按鈕。
激活插件後，從 WordPress 儀表板轉到排名數學 -> 常規設置 -> 編輯 robots.txt 。
現在，在空白處輸入以下代碼或複制上一個示例中提到的代碼，然後單擊Save Changes按鈕。
給你！ 您已使用 Rank Math 插件成功創建了 robots.txt 文件。
方法 2：使用 FTP 創建 Robots.txt 文件
第二種方法是在本地計算機上手動創建 robots.txt 文件，然後將其上傳到 WordPress 站點的根文件夾。
您將需要使用 FTP 客戶端訪問您的 WordPress 主機。 登錄 FTP 客戶端后，您可以在網站的根文件夾中看到 robots.txt 文件。 右鍵單擊並選擇編輯選項。
現在，將您的自定義規則添加到文件並保存更改。 例如：
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php如果您在根文件夾中看不到該文件，您可以使用記事本在本地計算機上創建它。 在其上添加您的規則，然後使用 FTP 將其上傳到您的根文件夾。
將 Robots.txt 文件放在哪裡？
您應該始終將 robots.txt 文件放在網站的根目錄中。 例如，如果您的站點是domainname.com ，那麼您的 robots.txt 文件域將為https://domainname.com/robots.txt。
除了在你的根目錄中添加 robots.txt 文件，這裡還有一些額外的提示：
- 必須將文件命名為“robots.txt”。
- 文件名區分大小寫。 因此，您需要正確處理它，否則它將無法正常工作。
- 您需要為每個新規則添加一個新行。
- 添加“$”符號以表示 URL 的結尾。
- 每個用戶代理只使用一次。
如何測試 Robots.txt 文件？
創建 robots.txt 文件後，您可以使用 Google Search Console 對其進行測試。 在這裡，您將找到 Open robots.txt 測試工具。
- 從給定的下拉列表中選擇您的屬性。
該工具會提取您網站的 robots.txt 文件，並在發現錯誤時突出顯示錯誤和警告。
注意：僅當您已將 WordPress 網站與 Google Search Console 關聯時，才會出現下拉屬性選項。
如果您還沒有這樣做，您可以快速鏈接您的網站，如下所示：
- 登錄 Google Search Console 並創建一個帳戶。 您可以使用您的域或 URL 前綴來設置您的帳戶。 建議使用 URL 前綴，因為它比較容易。
- 輸入您網站的網址。
- 現在，單擊“繼續”按鈕。
- 您現在應該驗證網站的所有權。 您可以使用任何給定的選項來執行此操作。 但是，我們建議使用 HTML 標記選項。
- 複製給定的代碼，然後轉到您的 WordPress 儀表板。
您現在可以使用插入頁眉和頁腳插件驗證代碼。 驗證：
- 從您的 WordPress 管理儀表板轉到插件 -> 添加新的。
- 現在，在搜索欄中搜索插入頁眉和頁腳插件，然後安裝並激活插件。
- 之後，從您的 WordPress 儀表板重定向到設置 -> 頁眉和頁腳，然後將復制的代碼粘貼到頁眉和頁腳選項卡中。 完成後，單擊“保存”按鈕。
- 返回瀏覽器上的 Google Search Console 標籤。 然後，單擊驗證按鈕。
- 谷歌檢查所有權並在完成後顯示完整的消息。
- 單擊“轉到屬性”選項以訪問 Google Search Console 儀表板。
現在，回到 Open robots.txt 測試工具並如上所述測試您的 robots.txt。
Robots.txt 文件的優點
以下是在 SEO 環境中使用 Robots.txt 文件的好處：
- 它通過跳過您不希望機器人抓取的頁面上的索引來幫助優化搜索引擎的抓取預算。 這為搜索引擎創建了一個優先級，以僅抓取對您很重要的頁面。
- 它通過限制不必要地消耗資源的機器人來幫助優化 Web 服務器。
- 它有助於隱藏登錄頁面、登錄頁面、感謝頁面，使其免受搜索引擎的索引。 因此，它優化了網站的性能。
robots.txt 文件的缺點
- 如上所述，創建 robots.txt 文件非常簡單。 但是，robots.txt 文件還包含您不希望抓取機器人索引的內部頁面的 URL，例如登錄頁面。 這使您的網站容易受到安全漏洞的攻擊。
- 雖然創建 robots.txt 文件很容易，但即使是一個簡單的錯誤也會使您的所有努力付諸東流。 例如，如果您在文件中添加或放錯了一個字符，它會打亂您所有的 SEO 工作。
常見問題 (FAQ)
什麼是網絡爬蟲？
搜索引擎通過網絡發送他們的網絡爬蟲（也稱為機器人或蜘蛛）。 這些機器人是智能軟件，可以導航整個網絡以發現新頁面、鏈接和網站。 這個發現過程被稱為網絡爬行。
什麼是索引？
當網絡爬蟲發現您的網站時，它們會將您的頁面排列成可用的數據結構。 這種組織過程稱為索引。
抓取預算是多少？
抓取預算是對搜索機器人在給定會話中可以抓取多少 URL 的限制。 每個站點都有特定的抓取預算分配。 因此，您需要確保以對您的網站最有利的方式使用它。
例如，如果您的網站上有多個頁面，則需要將抓取預算分配給最有價值的頁面。 因此，您可以在 robots.txt 文件中提及頁面 URL。
結論
在處理網站的 SEO 時，大多數用戶專注於創建站點地圖、處理反向鏈接、研究關鍵字和優化內容。 只有少數站長關注 robots.txt 文件。
啟動站點時，robots.txt 文件可能起不了多大作用。 但是，隨著您網站的發展，關注 robots.txt 文件會產生更好的結果。
此外，還有一個神話，即阻止類別、存檔頁面和標籤會提高抓取速度並促進更快的索引編制。 這是假的。
按照我們上面提到的方法創建您的 robots.txt 文件。
我們希望本文能幫助您對有關如何為 SEO 創建和優化 WordPress robots.txt 的查詢進行排序。
如果您想閱讀更多與 WordPress 相關的有用文章，您可以閱讀以下文章：
- 如何在 WordPress 中創建站點地圖？
- 如何開始一個 WordPress 博客？