كيفية تحسين WordPress Robots.txt لكبار المسئولين الاقتصاديين مع مثال

كانت مُحسّنات محرّكات البحث أولوية قصوى لأصحاب مواقع الويب. مع حصول أفضل خمس نتائج على 75٪ من النقرات ، كان السباق للحصول على ترتيب أعلى يمثل تحديًا. هناك العديد من تقنيات تحسين محركات البحث خارج الصفحة وعلى الصفحة التي تلعب دورًا في ذلك. يعد تحسين ملف Robot.txt إحدى تلك الحيل التي يمكن أن تعزز تحسين محركات البحث لموقعك.

ومع ذلك ، فإن معظم المبتدئين لا يعرفون كيفية تحسين WordPress Robots.txt لتحسين محركات البحث. قد لا يعرف البعض حتى ما هو ملف robots.txt في المقام الأول.

لحسن الحظ ، هذه المقالة في إنقاذك.

هنا ، سنشرح ما هو ملف robots.txt ، وكيفية إنشاء ملف robots.txt ، وكيفية تحسين ملف robots.txt لتحسين محركات البحث. لقد أضفنا أيضًا بعض الأسئلة الشائعة في النهاية. لذا تأكد من أنك معنا حتى النهاية.

الآن ، لنبدأ!

ما هو ملف Robots.txt؟

يعد ملف Robots.txt في WordPress ملفًا نصيًا عاديًا يُعلم روبوتات محرك البحث بالصفحات الموجودة على موقعك التي يجب الزحف إليها وفهرستها. يمكنك أيضًا تنسيق الملف لاستبعاد الصفحات من الفهرسة.

يتم تخزين ملف robots.txt في دليل جذر WordPress. هذا الملف له تنسيق أساسي يشبه هذا:

 User-agent: [user-name] Disallow: [URL of the string not to be crawled] Allow: [URL of the string to be crawled] Sitemap: [URL of your WordPress XML Sitemap]

كيف يبدو ملف Robots.txt؟

ملف robots.txt هو مجرد بضعة أسطر من النص يوجه محركات البحث إلى كيفية الزحف إلى موقعك وما الذي يجب الزحف إليه على موقعك. لديك سطور متعددة في هذا الملف للسماح بعناوين URL لصفحات معينة أو تقييدها. يمكنك أيضًا إضافة خرائط مواقع متعددة. إذا لم تسمح بعنوان URL ، فلن تقوم روبوتات محرك البحث بالزحف إلى هذه الصفحة.

فيما يلي مثال على ملف robots.txt:

 User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Sitemap: https://URL/sitemap_index.xml

الآن ، دعنا نتعرف على هذه المصطلحات الأربعة الرئيسية التي يمكنك العثور عليها في ملف الروبوتات:

• وكيل المستخدم: User-agent هو زاحف الويب المحدد الذي تقدم إليه تعليمات الزحف. عادة ما يكون محرك بحث.

• Allow : Allow هو الأمر الذي يخبر Googlebot أنه يمكنه الوصول إلى صفحة أو مجلد فرعي على الرغم من أنه قد يكون المجلد الفرعي أو الصفحة الرئيسية غير مسموح بهما.

• Disallow : أمر disallow يخبر وكيل المستخدم بعدم الزحف إلى عنوان URL معين. يمكنك تضمين سطر واحد فقط "Disallow:" لكل عنوان URL.

• خريطة الموقع : تُستخدم خريطة الموقع لاستدعاء مكان أي خريطة (خرائط) لمواقع XML مرتبطة بعنوان URL هذا. هذا الأمر مدعوم فقط من قبل Google و Bing و Ask و Yahoo.

في المثال أعلاه ، سمحنا لروبوتات البحث بالزحف إلى مجلد التحميلات وفهرسته ولكننا قيدنا مجلد المكونات الإضافية. في النهاية ، سمحنا بفهرسة خريطة موقع XML.

تعني علامة النجمة بعد User-Agent أن النص ينطبق على جميع روبوتات محرك البحث. لكل محرك بحث وكيل المستخدم الخاص به لفهرسة المواقع. فيما يلي بعض وكلاء المستخدم لبعض محركات البحث الشائعة:

• جوجل: Googlebot
• صور Googlebot: Googlebot-Image
• Googlebot News: Googlebot-News
• Googlebot Video: Googlebot-Video
• ياهو: Slurp Bot
• بنج: بينجبوت
• Alexa من أمازون: ia_archiver
• DuckDuckGo: DuckDuckBot
• ياندكس: YandexBot
• بايدو: بايدوسبيدير
• إكساليد: ExaBot

هناك الكثير من وكلاء المستخدم في الوقت الحاضر. إذا كنت تريد التركيز على محرك بحث معين ، فيمكنك تحديده في ملف robots.txt. أي لإعداد إرشادات لبرنامج Googlebot ، يمكنك كتابة السطر الأول من ملف robots.txt على النحو التالي:

وكيل المستخدم: Googlebot

لماذا تحتاج إلى ملف Robots.txt في WordPress؟

ستقوم روبوتات البحث بالزحف إلى موقعك وفهرسته حتى إذا لم يكن لديك ملف robots.txt. لذا ، لماذا تحتاجه حقًا؟ حسنًا ، باستخدام ملف robots.txt ، يمكنك توجيه محركات البحث لمنح الأولوية للفهرسة على صفحات معينة. يمكنك أيضًا استبعاد الصفحات أو المجلدات التي لا تريد فهرستها.

هذا ليس له تأثير أكبر عندما كنت في البداية ابدأ مدونة وليس لديك الكثير من المحتوى. ومع ذلك ، بعد أن ينمو موقعك ويحتوي على الكثير من المحتوى ، قد تحتاج إلى إعطاء الأولوية للفهرسة على صفحة / منشور / مجلد معين وإلغاء البعض.

ترى ، هناك حصة لكل روبوت بحث لكل موقع. وهذا يعني أن الروبوتات تزحف على عدد معين من الصفحات في جلسة زحف معينة. إذا لم تنتهي الروبوتات من الزحف في تلك الجلسة المحددة ، سيعود الروبوت ويستأنف الزحف في الجلسة التالية. هذا يبطئ معدل فهرسة موقع الويب الخاص بك.

لذلك ، باستخدام ملف robots.txt ، يمكنك توجيه روبوتات البحث إلى الصفحات والملفات والمجلدات التي تريد فهرستها وأيها يجب تضمينه. من خلال القيام بذلك ، فإنك تحفظ حصة الزحف. قد لا تكون الطريقة الأكثر أمانًا لإخفاء المحتوى الخاص بك عن الجمهور ، ولكنها تمنع تلك المحتويات المستبعدة من الظهور في SERPs.

كيفية إنشاء ملف robots.txt لموقعك على الويب؟

يمكنك إنشاء ملف robots.txt بطريقتين مختلفتين. سنشرح هذه الأساليب أدناه. يمكنك بعد ذلك اتباع الطريقة التي تعتقد أنها ستعمل بشكل أفضل بالنسبة لك.

الطريقة الأولى: إنشاء ملف Robots.txt باستخدام اضافة Rank Math

هنا ، سنوضح لك كيفية إنشاء ملف robots.txt باستخدام البرنامج المساعد Rank Math الشهير.

Rank Math هو مكون إضافي لـ SEO WordPress يجعل من السهل تحسين محتوى موقع الويب الخاص بك من خلال الاقتراحات المضمنة بناءً على أفضل الممارسات المقبولة على نطاق واسع. باستخدام هذه الأداة المفيدة ، يمكنك بسهولة تخصيص إعدادات تحسين محركات البحث المهمة والتحكم في الصفحات القابلة للفهرسة.

من أجل إنشاء ملف robots.txt باستخدام المكون الإضافي Rank Math ، أولاً ، قم بتنزيل المكون الإضافي بالانتقال إلى الإضافات -> إضافة جديد من لوحة تحكم مسؤول WordPress.

الآن ، ابحث عن Rank Math في شريط البحث وانقر فوق الزر Install Now and Activate بمجرد العثور على المكون الإضافي.

بمجرد تنشيط المكون الإضافي ، توجه إلى Rank Math -> الإعدادات العامة -> تحرير ملف robots.txt من لوحة معلومات WordPress.

الآن ، أدخل الرمز التالي أو انسخ الرمز المذكور في المثال السابق في المساحة الفارغة وانقر فوق الزر Save Changes .

ها أنت ذا! لقد نجحت في إنشاء ملف robots.txt باستخدام البرنامج الإضافي Rank Math.

الطريقة الثانية: إنشاء ملف Robots.txt باستخدام FTP

تتضمن الطريقة الثانية إنشاء ملف robots.txt يدويًا على جهاز كمبيوتر محلي ثم تحميله إلى المجلد الجذر لموقع WordPress الخاص بك.

ستحتاج إلى الوصول إلى استضافة WordPress الخاصة بك باستخدام عميل FTP. بعد تسجيل الدخول إلى عميل FTP الخاص بك ، يمكنك رؤية ملف robots.txt في المجلد الجذر لموقع الويب. انقر بزر الماوس الأيمن وحدد خيار التحرير .

الآن ، أضف قاعدتك المخصصة إلى الملف واحفظ التغييرات. فمثلا:

 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

إذا كنت لا ترى الملف في المجلد الجذر ، فيمكنك إنشاؤه على جهاز الكمبيوتر المحلي الخاص بك باستخدام المفكرة. أضف القواعد الخاصة بك عليه ثم قم بتحميله إلى مجلد الجذر الخاص بك باستخدام FTP.

أين تضع ملف Robots.txt الخاص بك؟

يجب عليك دائمًا وضع ملف robots.txt في الدليل الجذر لموقعك على الويب. على سبيل المثال ، إذا كان موقعك هو domainname.com ، فسيكون مجال ملف robots.txt الخاص بك هو https://domainname.com/robots.txt.

بالإضافة إلى إضافة ملف robots.txt في الدليل الجذر ، إليك بعض النصائح الإضافية:

• من الضروري تسمية الملف "robots.txt".
• اسم الملف حساس لحالة الأحرف. وبالتالي ، فأنت بحاجة إلى تصحيحها وإلا فلن تنجح.
• تحتاج إلى إضافة سطر جديد لكل قاعدة جديدة.
• أضف علامة “$” للدلالة على نهاية عنوان URL.
• استخدم كل وكيل مستخدم مرة واحدة فقط.

كيفية اختبار ملف Robots.txt؟

بعد إنشاء ملف robots.txt ، يمكنك اختباره باستخدام Google Search Console. ستجد هنا أداة اختبار Open robot.txt.

• حدد الممتلكات الخاصة بك من القائمة المنسدلة المحددة.

تجلب الأداة ملف robots.txt الخاص بموقعك وتقوم بتمييز الأخطاء والتحذير إذا وجدت أيًا منها.

ملاحظة : لا يظهر خيار خاصية القائمة المنسدلة إلا إذا قمت بربط موقع WordPress الخاص بك بـ Google Search Console.

إذا لم تقم بذلك ، يمكنك ربط موقعك بسرعة على النحو التالي:

• سجّل الدخول إلى Google Search Console وأنشئ حسابًا. يمكنك إعداد حسابك باستخدام المجال الخاص بك أو بادئة عنوان URL. يوصى باستخدام بادئة URL لأنها أسهل نسبيًا.
• أدخل عنوان URL لموقع الويب الخاص بك.
• الآن ، انقر فوق الزر "متابعة".

• يجب عليك الآن التحقق من ملكية الموقع. يمكنك القيام بذلك باستخدام أي من الخيارات المحددة. ومع ذلك ، نوصي باستخدام خيار علامة HTML.
• انسخ الكود المحدد ثم توجه إلى لوحة معلومات WordPress الخاصة بك.

يمكنك الآن التحقق من الرمز باستخدام المكون الإضافي "إدراج رؤوس وتذييلات". للتحقق:

• انتقل إلى الإضافات -> إضافة جديد من لوحة تحكم مسؤول WordPress.
• الآن ، ابحث عن المكون الإضافي Insert Headers and Footers في شريط البحث ثم قم بتثبيت المكون الإضافي وتنشيطه.

• بعد ذلك ، أعد التوجيه إلى الإعدادات -> الرأس والتذييل من لوحة معلومات WordPress الخاصة بك ، ثم الصق الكود المنسوخ في علامة التبويب الرأس والتذييل. بمجرد الانتهاء ، انقر فوق الزر حفظ.

• ارجع إلى علامة التبويب Google Search Console في متصفحك. ثم ، انقر فوق زر التحقق.
• يتحقق Google من الملكية ويعرض الرسالة المكتملة بمجرد الانتهاء.
• انقر فوق خيار "الانتقال إلى الموقع" للوصول إلى لوحة تحكم Google Search Console.

الآن ، ارجع إلى أداة اختبار Open robot.txt واختبر ملف robots.txt الخاص بك كما هو مذكور أعلاه.

إيجابيات ملف Robots.txt

فيما يلي فوائد استخدام ملف Robots.txt في سياق تحسين محركات البحث:

• يساعد في تحسين ميزانيات الزحف لمحرك البحث عن طريق تخطي الفهرسة على الصفحات التي لا تريد أن تقوم الروبوتات بالزحف إليها. يؤدي هذا إلى إنشاء أولوية لمحرك البحث للزحف فقط إلى الصفحات المهمة بالنسبة لك.
• يساعد في تحسين خادم الويب عن طريق تقييد برامج الروبوت التي تستهلك الموارد دون داع.
• يساعد على إخفاء صفحات تسجيل الدخول والصفحات المقصودة ، شكرًا لك على الصفحات من الفهرسة بواسطة محركات البحث. وبالتالي ، فهو يحسن أداء الموقع.

سلبيات ملف robots.txt

• يعد إنشاء ملف robots.txt أمرًا سهلاً للغاية ، كما أوضحنا أعلاه. ومع ذلك ، يشتمل ملف robots.txt أيضًا على عناوين URL لصفحاتك الداخلية التي لا تريد أن تقوم روبوتات الزحف بفهرستها ، مثل صفحة تسجيل الدخول. هذا يجعل موقع الويب الخاص بك عرضة للانتهاكات الأمنية.
• أثناء إنشاء ملف robots.txt أمر سهل ، فإن ارتكاب خطأ بسيط يمكن أن يسحب كل جهدك إلى الهاوية. على سبيل المثال ، إذا أضفت حرفًا واحدًا أو أخطأت في وضعه في الملف ، فسيؤدي ذلك إلى إفساد كل جهود تحسين محركات البحث.

الأسئلة المتداولة (FAQs)

استنتاج

عند العمل على تحسين محركات البحث لموقع الويب ، يركز معظم المستخدمين على إنشاء خرائط مواقع ، والعمل على الروابط الخلفية ، والبحث عن الكلمات الرئيسية ، وتحسين المحتوى. عدد قليل فقط من مشرفي المواقع ينتبهون إلى ملف robots.txt.

قد لا يلعب ملف robots.txt دورًا كبيرًا عند بدء تشغيل موقع. ومع ذلك ، مع نمو موقع الويب الخاص بك ، يؤدي الانتباه إلى ملف robots.txt إلى نتائج أفضل.

أيضًا ، هناك خرافة مفادها أن فئة الحظر وصفحات الأرشيف والعلامات تزيد من معدل الزحف وتعزز الفهرسة بشكل أسرع. أنه زائف.

اتبع الطرق التي ذكرناها أعلاه لإنشاء ملف robots.txt الخاص بك.

نأمل أن تساعدك هذه المقالة في فرز استفسارك فيما يتعلق بكيفية إنشاء وتحسين ملف robots.txt في WordPress لتحسين محركات البحث.

إذا كنت ترغب في قراءة المزيد من المقالات المفيدة المتعلقة بـ WordPress ، فيمكنك قراءة المقالات التالية:

• كيفية إنشاء ملف Sitemap في WordPress؟
• كيف تبدأ مدونة WordPress؟