أساسيات كيفية عمل فهرسة محرك البحث

يعد تحسين محرك البحث (SEO) من الطرق الأساسية لتعزيز ظهور موقع الويب الخاص بك وجذب المزيد من الزيارات العضوية. ومع ذلك ، فهي استراتيجية معقدة تعتمد على فهم الخوارزميات والاستفادة من مجموعة متنوعة من عوامل التصنيف. إذا كنت تتطلع إلى أن تصبح خبيرًا في تحسين محركات البحث ، فستحتاج إلى فهم فهرسة محرك البحث.

في هذا المنشور ، سنشرح كيف تقوم محركات البحث بفهرسة مواقع الويب وكيف يمكنك تعزيز تصنيفاتك. سنجيب أيضًا على بعض الأسئلة الشائعة حول مفهوم تحسين محركات البحث. هيا بنا نبدأ!

ما هي فهرسة محرك البحث؟

تشير فهرسة محرك البحث إلى العملية التي يقوم فيها محرك بحث (مثل Google) بتنظيم وتخزين المحتوى عبر الإنترنت في قاعدة بيانات مركزية (فهرسها). يمكن لمحرك البحث بعد ذلك تحليل وفهم المحتوى ، وتقديمه للقراء في قوائم مرتبة على صفحات نتائج محرك البحث (SERPs).

قبل فهرسة موقع ويب ، يستخدم محرك البحث "برامج الزحف" للتحقق من الروابط والمحتوى. بعد ذلك ، يأخذ محرك البحث المحتوى الذي تم الزحف إليه وينظمه في قاعدة بياناته:

مصدر الصورة: Seobility - الترخيص: CC BY-SA 4.0

سنلقي نظرة فاحصة على كيفية عمل هذه العملية في القسم التالي. في الوقت الحالي ، يمكن أن يساعد في التفكير في الفهرسة كنظام حفظ عبر الإنترنت لمنشورات وصفحات مواقع الويب ومقاطع الفيديو والصور والمحتويات الأخرى. عندما يتعلق الأمر بـ Google ، فإن هذا النظام هو قاعدة بيانات ضخمة تُعرف باسم فهرس Google.

كيف يقوم محرك البحث بفهرسة الموقع؟

تستخدم محركات البحث مثل Google "برامج الزحف" لاستكشاف المحتوى عبر الإنترنت وتصنيفه. برامج الزحف هذه عبارة عن روبوتات برمجية تتبع الارتباطات وتفحص صفحات الويب وتكتسب أكبر قدر ممكن من البيانات حول موقع ويب. بعد ذلك ، يقومون بتسليم المعلومات إلى خوادم محرك البحث ليتم فهرستها:

مصدر الصورة: Seobility - الترخيص: CC BY-SA 4.0

في كل مرة يتم فيها نشر المحتوى أو تحديثه ، تقوم محركات البحث بالزحف إليه وفهرسته لإضافة معلوماته إلى قواعد البيانات الخاصة بهم. يمكن أن تحدث هذه العملية تلقائيًا ، ولكن يمكنك تسريعها عن طريق إرسال خرائط مواقع إلى محركات البحث. تحدد هذه المستندات البنية التحتية لموقع الويب الخاص بك ، بما في ذلك الروابط ، لمساعدة محركات البحث في الزحف إلى المحتوى الخاص بك وفهمه بشكل أكثر فعالية.

تعمل برامج الزحف لمحركات البحث على "ميزانية الزحف". تحدد هذه الميزانية عدد الصفحات التي ستقوم الروبوتات بالزحف إليها وفهرستها على موقع الويب الخاص بك خلال فترة زمنية محددة. (ومع ذلك ، فقد عادوا).

تقوم برامج الزحف بتجميع معلومات حول البيانات الأساسية مثل الكلمات الرئيسية ونشر التواريخ والصور وملفات الفيديو. تقوم محركات البحث أيضًا بتحليل العلاقة بين الصفحات والمواقع المختلفة من خلال متابعة وفهرسة الروابط الداخلية وعناوين URL الخارجية.

لاحظ أن برامج زحف محركات البحث لن تتبع جميع عناوين URL الموجودة على موقع الويب. سيقومون تلقائيًا بالزحف إلى روابط dofollow ، متجاهلين معادلاتهم nofollow. لذلك ، سترغب في التركيز على روابط dofollow في جهودك لبناء الروابط. هذه هي عناوين URL من مواقع خارجية تشير إلى المحتوى الخاص بك.

إذا كانت الروابط الخارجية تأتي من مصادر عالية الجودة ، فسوف تمر عبر "عصير الارتباط" الخاص بهم عندما تتبعهم برامج الزحف من موقع آخر إلى موقعك. على هذا النحو ، يمكن أن تعزز عناوين URL هذه تصنيفاتك في SERPs:

مصدر الصورة: Seobility - الترخيص: CC BY-SA 4.0

علاوة على ذلك ، ضع في اعتبارك أن بعض المحتوى لا يمكن الزحف إليه بواسطة محركات البحث. إذا كانت صفحاتك مخفية خلف نماذج تسجيل الدخول أو كلمات المرور أو كان لديك نص مضمن في صورك ، فلن تتمكن محركات البحث من الوصول إلى هذا المحتوى وفهرسته. (ومع ذلك ، يمكنك استخدام نص بديل لإظهار هذه الصور في عمليات البحث بمفردها.)

4 أدوات لفهرسة محرك البحث

يمكنك استخدام العديد من الأدوات لتوجيه كيفية قيام Google ومحركات البحث الأخرى بالزحف إلى المحتوى الخاص بك وفهرسته. دعنا نلقي نظرة على بعض الخيارات الأكثر فائدة!

1. خرائط المواقع

ضع في اعتبارك أن هناك نوعين من خرائط المواقع: XML و HTML. قد يكون من السهل الخلط بين هذين المفهومين لأن كلاهما نوعان من خرائط المواقع التي تنتهي بـ -ML ، لكنهما يخدمان أغراضًا مختلفة.

خرائط مواقع HTML هي ملفات سهلة الاستخدام تسرد كل المحتوى الموجود على موقع الويب الخاص بك. على سبيل المثال ، ستجد عادةً أحد ملفات Sitemap هذه في تذييل الموقع. قم بالتمرير على طول الطريق لأسفل على Apple.com ، وستجد هذا ، خريطة موقع HTML:

يتيح ملف Sitemap هذا للزوار التنقل في موقع الويب الخاص بك بسهولة. يعمل كدليل عام ، ويمكن أن يؤثر بشكل إيجابي على مُحسنات محركات البحث ويوفر تجربة مستخدم قوية (UX).

في المقابل ، تحتوي خريطة موقع XML على قائمة بجميع الصفحات الأساسية على موقع الويب الخاص بك. يمكنك إرسال هذا المستند إلى محركات البحث حتى تتمكن من الزحف إلى المحتوى الخاص بك وفهرسته بشكل أكثر فعالية:

ضع في اعتبارك أننا سنشير إلى مستندات XML عندما نتحدث عن خرائط المواقع في هذه المقالة. نوصي أيضًا بالاطلاع على دليلنا لإنشاء خريطة موقع XML ، بحيث يكون المستند جاهزًا لمحركات البحث المختلفة.

2. جوجل Search Console

إذا كنت ترغب في تركيز جهود تحسين محركات البحث على Google ، فإن Google Search Console هي أداة أساسية لإتقان:

في وحدة التحكم ، يمكنك الوصول إلى تقرير تغطية الفهرس ، والذي يخبرك بالصفحات التي تمت فهرستها بواسطة Google ويسلط الضوء على أي مشكلات أثناء العملية. يمكنك هنا تحليل عناوين URL التي بها مشكلات واستكشاف الأخطاء وإصلاحها لجعلها "قابلة للفهرسة".

بالإضافة إلى ذلك ، يمكنك إرسال خريطة موقع XML الخاصة بك إلى Google Search Console. يعمل هذا المستند "كخريطة طريق" ويساعد Google على فهرسة المحتوى الخاص بك بشكل أكثر فعالية. علاوة على ذلك ، يمكنك أن تطلب من Google إعادة الزحف إلى عناوين URL وأجزاء معينة من موقعك بحيث تكون الموضوعات المحدثة متاحة دائمًا لجمهورك دون انتظار برامج الزحف من Google للعودة إلى موقعك.

3. محركات البحث البديلة

على الرغم من أن Google هو محرك البحث الأكثر شيوعًا ، إلا أنه ليس الخيار الوحيد. تقييد نفسك على Google يمكن أن يغلق موقعك على حركة المرور من مصادر بديلة مثل Bing:

نوصي بالاطلاع على أدلةنا حول إرسال خرائط مواقع XML إلى Bing Webmaster Tools و Yandex Webmaster Tools. لسوء الحظ ، لا تمكّنك محركات البحث الأخرى ، بما في ذلك Yahoo و DuckDuckGo ، من إرسال خرائط مواقع.

ضع في اعتبارك أن كل وحدة من وحدات التحكم هذه تقدم أدوات فريدة لمراقبة فهرسة موقعك وترتيبه في SERPs. لذلك ، نوصي بتجربتها إذا كنت ترغب في توسيع إستراتيجية تحسين محركات البحث الخاصة بك.

4. ملف robots.txt

لقد غطينا بالفعل كيف يمكنك استخدام خريطة الموقع لإخبار محركات البحث بفهرسة صفحات معينة على موقع الويب الخاص بك. بالإضافة إلى ذلك ، يمكنك استبعاد محتوى معين باستخدام ملف robots.txt .

يتضمن ملف robots.txt معلومات فهرسة حول موقعك. يتم تخزينه في الدليل الجذر الخاص بك ويحتوي على سطرين: سطر وكيل المستخدم الذي يحدد زاحف محرك البحث ، وتوجيه عدم السماح الذي يحظر ملفات معينة.

على سبيل المثال ، قد يبدو ملف robots.txt على النحو التالي:

 وكيل المستخدم: *
Disallow: / example_page /
Disallow: / example_page_2 /

في هذا المثال ، يغطي * جميع برامج الزحف لمحركات البحث. بعد ذلك ، تحدد سطور عدم السماح ملفات أو مسارات URL معينة.

تحتاج ببساطة إلى إنشاء ملف نصي بسيط وتسميته robots.txt . بعد ذلك ، أضف بيانات عدم السماح الخاصة بك وقم بتحميل الملف إلى الدليل الجذر الخاص بك باستخدام عميل بروتوكول نقل الملفات (FTP).

أسئلة وأجوبة

حتى الآن ، قمنا بتغطية أساسيات فهرسة محرك البحث. إذا كان لا يزال لديك أسئلة حول مفهوم تحسين محركات البحث ، فسنجيب عليها هنا! (وإذا كان لا يزال لديك واحد ، فأخبرنا بذلك في التعليقات حتى نتمكن من الإجابة عليه هناك!)

كيف يمكنني الفهرسة بشكل أفضل بواسطة محركات البحث؟

يمكنك الحصول على فهرسة أفضل من خلال محركات البحث عن طريق إنشاء خرائط مواقع وتدقيقها بحثًا عن أخطاء الزحف وإرسالها إلى محركات بحث متعددة. بالإضافة إلى ذلك ، يجب أن تفكر في تحسين المحتوى الخاص بك للأجهزة المحمولة وتقليل أوقات التحميل لتسريع الزحف والفهرسة.

يمكن أن يؤدي تحديث المحتوى بشكل متكرر أيضًا إلى تنبيه محركات البحث للزحف إلى صفحاتك "الجديدة" وفهرستها. أخيرًا ، نوصي بمنع محركات البحث من الزحف إلى المحتوى المكرر باستخدام ملف robots.txt أو حذفه.

هل يجب علي طلب محركات البحث للزحف إلى موقعي؟

ستقوم محركات البحث بالزحف إلى المحتوى الجديد المتاح للجمهور على الإنترنت ، ولكن هذه العملية قد تستغرق أسابيع أو شهور. لذلك ، قد تفضل تسريع الأمور عن طريق إرسال خريطة موقع إلى محركات البحث التي تختارها.

هل يجب علي تنبيه محركات البحث إذا قمت بنشر محتوى جديد؟

نوصي بتحديث خريطة الموقع عند نشر محتوى جديد. يضمن هذا الأسلوب أن يتم الزحف إلى مشاركاتك وفهرستها بسرعة أكبر. نوصي باستخدام مكون إضافي مثل Yoast SEO لإنشاء خرائط مواقع بسهولة.

هل تمت إزالة المحتوى الخاص بي من Google أو من محركات البحث الأخرى؟

قد تزيل Google منشورًا أو صفحة من فهرسها إذا كان المحتوى ينتهك شروط الخدمة الخاصة بها. هذا يعني أن المحتوى ينتهك الخصوصية أو التشهير أو حقوق النشر أو القوانين الأخرى في كثير من الحالات. تقوم Google أيضًا بإزالة البيانات الشخصية من فهرسها ، مثل المعلومات المالية أو الطبية التي يمكن التعرف عليها. أخيرًا ، قد تعاقب Google الصفحات التي تستخدم تقنيات القبعة السوداء لتحسين محركات البحث.

كيف يمكنني إعادة فهرسة المحتوى الخاص بي إذا تمت إزالته؟

يمكنك أن تطلب من Google إعادة فهرسة المحتوى الخاص بك عن طريق تعديله ليتوافق مع إرشادات الجودة لمشرفي المواقع الخاصة بمحرك البحث. بعد ذلك ، يمكنك إرسال طلب إعادة نظر والانتظار حتى ترى رد Google.

كيف يمكنني منع محركات البحث من فهرسة صفحات معينة؟

يمكنك منع محركات البحث من فهرسة صفحات معينة عن طريق إضافة علامة وصفية noindex إلى قسم <head> بالصفحة. بدلاً من ذلك ، إذا كان المحتوى الخاص بك عبارة عن ملف وسائط ، فيمكنك إضافته إلى ملف robots.txt . أخيرًا ، تتيح لك أدوات مشرفي المواقع من Google إخفاء صفحة باستخدام أداة إزالة عناوين URL.

خاتمة

SEO هو مجال واسع يغطي كل شيء من خوارزميات محرك البحث إلى تقنيات التحسين خارج الصفحة. إذا كنت جديدًا في الموضوع ، فقد تشعر بالارتباك من كل المعلومات. لحسن الحظ ، تعد الفهرسة من أسهل المفاهيم التي يمكن فهمها.

تعد فهرسة محرك البحث عملية أساسية تنظم محتوى موقع الويب الخاص بك في قاعدة بيانات مركزية. تحلل برامج زحف محركات البحث محتوى موقعك وبنيته لتصنيفه. ثم يمكنهم ترتيب صفحاتك في صفحات النتائج الخاصة بهم لشروط بحث محددة.

هل لديك أي أسئلة أخرى حول فهرسة محرك البحث؟ واسمحوا لنا أن نعرف في قسم التعليقات أدناه!

صورة مميزة عبر Sammby / shutterstock.com