WordPress Robots.txt SEO İçin Örneklerle Nasıl Optimize Edilir

SEO, web sitesi sahipleri için en önemli öncelik olmuştur. Tıklamaların %75'ini kazanan ilk beş sonuçla, daha yüksek sıralama için yarış zorlu oldu. Oyuna giren çeşitli sayfa dışı ve sayfa içi SEO teknikleri vardır. Robot.txt dosyasını optimize etmek, siteniz için SEO'yu güçlendirebilecek püf noktalarından biridir.

Ancak, yeni başlayanların çoğu, SEO için WordPress Robots.txt dosyasını nasıl optimize edeceğini bilmiyor. Bazıları robots.txt dosyasının ne olduğunu bile bilmiyor olabilir.

Neyse ki, bu makale imdadınıza yetişiyor.

Burada robots.txt dosyasının ne olduğunu, robots.txt dosyasının nasıl oluşturulacağını ve robots.txt dosyasının SEO için nasıl optimize edileceğini açıklayacağız. Ayrıca, sonuna bazı SSS'ler ekledik. Bu yüzden sonuna kadar bizimle olduğunuzdan emin olun.

Şimdi, başlayalım!

Robots.txt dosyası nedir?

WordPress'teki Robots.txt, arama motoru botlarına sitenizdeki hangi sayfaların taranacağını ve dizine ekleneceğini bildiren düz bir metin dosyasıdır. Ayrıca, sayfaları indeksleme dışında bırakmak için dosyayı biçimlendirebilirsiniz.

robots.txt, WordPress kök dizininde saklanır. Bu dosyanın şuna benzeyen temel bir biçimi vardır:

 User-agent: [user-name] Disallow: [URL of the string not to be crawled] Allow: [URL of the string to be crawled] Sitemap: [URL of your WordPress XML Sitemap]

Bir Robots.txt Dosyası Neye benziyor?

Bir robots.txt dosyası, arama motorlarını sitenizde nasıl ve neyi tarayacakları konusunda yönlendiren yalnızca birkaç satırlık metindir. Belirli sayfa URL'lerine izin vermek veya kısıtlamak için bu dosyada birden çok satırınız var. Ayrıca birden fazla site haritası ekleyebilirsiniz. Bir URL'ye izin vermezseniz, arama motoru botları o sayfayı taramaz.

Robots.txt dosyasına bir örnek:

 User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Sitemap: https://URL/sitemap_index.xml

Şimdi, bir robot dosyasında bulabileceğiniz bu dört ana terimi öğrenelim:

• User-agent : User-agent, tarama talimatı verdiğiniz belirli web tarayıcısıdır. Genellikle bir arama motorudur.

• İzin Ver : İzin Ver, Googlebot'a alt klasörüne veya üst sayfasına izin verilmemesine rağmen bir sayfaya veya alt klasöre erişebileceğini söyleyen komuttur.

• Disallow : Disallow komutu, bir kullanıcı aracısına belirli bir URL'yi taramamasını söyler. Her URL için yalnızca bir "İzin Verme:" satırı ekleyebilirsiniz.

• Site Haritası : Site haritası, bu URL ile ilgili herhangi bir XML site haritasının/haritalarının konumunu belirtmek için kullanılır. Bu komut yalnızca Google, Bing, Ask ve Yahoo tarafından desteklenir.

Yukarıdaki örnekte, arama botlarının yüklemeler klasörünü taramasına ve dizine eklemesine izin verdik, ancak eklentiler klasörünü kısıtladık. Sonunda, XML site haritasının indekslenmesine izin verdik.

User-Agent'tan sonraki yıldız işareti, metnin tüm arama motoru botları için geçerli olduğu anlamına gelir. Her arama motorunun siteleri dizine eklemek için kendi kullanıcı aracısı vardır. İşte bazı popüler arama motorlarının bazı kullanıcı aracıları:

• Google: Googlebot
• Googlebot Görselleri: Googlebot-Resim
• Googlebot Haberleri: Googlebot-Haberler
• Googlebot Videosu: Googlebot-Video
• Yahoo: Slurp Botu
• Bing: Bingbot
• Amazon'un Alexa'sı: ia_archiver
• DuckDuckGo: DuckDuckBot
• Yandex: YandexBot
• Baidu: Baiduspider
• Exalead: ExaBot

Günümüzde çok fazla kullanıcı aracısı var. Belirli bir arama motoruna odaklanmak istiyorsanız, onu robots.txt dosyasında bile belirtebilirsiniz. Yani, Googlebot için talimatları ayarlamak için robots.txt dosyanızın ilk satırını şu şekilde yazabilirsiniz:

Kullanıcı aracısı: Googlebot

WordPress'te Neden Bir Robots.txt Dosyasına İhtiyacınız Var?

Arama botları, robots.txt dosyanız olmasa bile sitenizi tarar ve dizine ekler. Peki, neden buna gerçekten ihtiyacın olsun ki? Peki, robots.txt dosyası ile arama motorlarını belirli sayfalarda indekslemeye öncelik vermeye yönlendirebilirsiniz. Ayrıca, dizine eklemek istemediğiniz sayfaları veya klasörleri hariç tutabilirsiniz.

Bu, ilk yaptığınızda daha büyük bir etkiye sahip değildir. bir blog başlatın ve çok fazla içeriğiniz yok. Ancak, siteniz büyüdükten ve çok fazla içeriğe sahip olduktan sonra, belirli bir sayfa/yazı/klasörde indekslemeye öncelik vermeniz ve bazılarını reddetmeniz gerekebilir.

Görüyorsunuz, her web sitesi için her arama botu için bir kota var. Bu, botların belirli bir tarama oturumunda belirli sayıda sayfada gezinmesi anlamına gelir. Botlar o oturumda taramayı bitirmezse, bot geri gelir ve bir sonraki oturumda taramaya devam eder. Bu, web sitenizin indeksleme oranını yavaşlatır.

Böylece robots.txt dosyasını kullanarak, arama botlarını hangi sayfa, dosya ve klasörlerin indekslenmesini ve hangilerinin eklenmesini istediğinize yönlendirebilirsiniz. Bunu yaparak, tarama kotasını kaydedersiniz. İçeriğinizi halktan gizlemenin en güvenli yolu olmayabilir, ancak hariç tutulan içeriklerin SERP'lerde görünmesini engeller.

Web Siteniz İçin Bir Robots.txt Nasıl Oluşturulur?

robots.txt dosyasını iki farklı şekilde oluşturabilirsiniz. Bu yöntemleri aşağıda açıklayacağız. Daha sonra sizin için en iyi olacağını düşündüğünüz yöntemi takip edebilirsiniz.

Yöntem 1: Rank Math Plugin kullanarak Robots.txt dosyası oluşturma

Burada, popüler Rank Math eklentisini kullanarak bir robots.txt dosyasını nasıl oluşturacağınızı göstereceğiz.

Rank Math, yaygın olarak kabul edilen en iyi uygulamalara dayalı yerleşik önerilerle web sitenizin içeriğini optimize etmeyi kolaylaştıran bir SEO WordPress eklentisidir. Bu kullanışlı aracı kullanarak, önemli SEO ayarlarını kolayca özelleştirebilir ve hangi sayfaların dizine eklenebileceğini kontrol edebilirsiniz.

Rank Math eklentisini kullanarak bir robots.txt dosyası oluşturmak için, önce WordPress Yönetici Panelinizden Eklentiler -> Yeni Ekle'ye giderek eklentiyi indirin.

Şimdi, Arama çubuğunda Rank Math'ı arayın ve eklentiyi bulduğunuzda Şimdi Yükle ve Etkinleştir düğmesini tıklayın.

Eklentiyi etkinleştirdikten sonra, WordPress Dashboard'dan Rank Math -> General Settings -> Edit robots.txt bölümüne gidin.

Şimdi, aşağıdaki kodu girin veya önceki örnekte belirtilen kodu boş alana kopyalayın ve Değişiklikleri Kaydet düğmesini tıklayın.

Buyrun! Rank Math eklentisini kullanarak başarıyla bir robots.txt dosyası oluşturdunuz.

Yöntem 2: FTP kullanarak Robots.txt dosyası oluşturma

İkinci yöntem, yerel bir bilgisayarda manuel olarak bir robots.txt dosyası oluşturmayı ve ardından bunu WordPress sitenizin kök klasörüne yüklemeyi içerir.

Bir FTP istemcisi kullanarak WordPress barındırma hizmetinize erişmeniz gerekecek. FTP istemcinizde oturum açtıktan sonra robots.txt dosyasını web sitesinin kök klasöründe görebilirsiniz. Sağ tıklayın ve Düzenle seçeneğini seçin.

Şimdi, özel kuralınızı dosyaya ekleyin ve değişiklikleri kaydedin. Örneğin:

 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

Dosyayı kök klasörde görmüyorsanız, not defterini kullanarak yerel bilgisayarınızda oluşturabilirsiniz. Üzerine kurallarınızı ekleyin ve ardından FTP'yi kullanarak kök klasörünüze yükleyin.

Robots.txt Dosyanızı Nereye Koymalısınız?

Robots.txt dosyanızı her zaman web sitenizin kök dizinine yerleştirmelisiniz. Örneğin, siteniz domainname.com ise robots.txt dosya etki alanınız https://domainname.com/robots.txt olacaktır.

Robots.txt dosyasını kök dizininize eklemenin yanı sıra, bazı ek ipuçları:

• Dosyaya “robots.txt” adını vermek zorunludur.
• Dosya adı büyük/küçük harf duyarlıdır. Bu nedenle, doğru yapmanız gerekir, yoksa işe yaramaz.
• Her yeni kural için yeni bir satır eklemeniz gerekir.
• Bir URL'nin sonunu belirtmek için bir "$" işareti ekleyin.
• Her kullanıcı aracısını yalnızca bir kez kullanın.

Robots.txt Dosyası Nasıl Test Edilir?

robots.txt dosyasını oluşturduktan sonra Google Arama Konsolunu kullanarak test edebilirsiniz. Burada, Open robot.txt test aracını bulacaksınız.

• Verilen açılır listeden mülkünüzü seçin.

Araç, sitenizin robots.txt dosyasını getirir ve varsa hataları ve uyarıları vurgular.

Not : Açılır özellik seçeneği yalnızca WordPress sitenizi Google Arama Konsolu ile bağladıysanız görünür.

Henüz yapmadıysanız, sitenizi aşağıdaki gibi hızlı bir şekilde bağlayabilirsiniz:

• Google Arama Konsoluna giriş yapın ve bir hesap oluşturun. Alan adınızı veya URL önekinizi kullanarak hesabınızı oluşturabilirsiniz. Nispeten daha kolay olduğu için URL önekiyle birlikte kullanılması önerilir.
• Web sitenizin URL'sini girin.
• Şimdi, “Devam” düğmesine tıklayın.

• Şimdi sitenin sahipliğini doğrulamanız gerekir. Bunu, verilen seçeneklerden herhangi birini kullanarak yapabilirsiniz. Ancak, HTML etiketi seçeneğini kullanmanızı öneririz.
• Verilen kodu kopyalayın ve ardından WordPress kontrol panelinize gidin.

Artık, Insert Headers and Footers eklentisini kullanarak kodu doğrulayabilirsiniz. Doğrulamak için:

• WordPress Yönetici Panonuzdan Eklentiler -> Yeni Ekle'ye gidin.
• Şimdi, arama çubuğunda Insert Headers and Footers eklentisini arayın ve ardından eklentiyi Yükleyin ve Etkinleştirin.

• Bundan sonra, WordPress Kontrol Panelinizden Ayarlar -> Üstbilgi ve Altbilgi'ye yönlendirin ve ardından kopyalanan kodu Başlık ve altbilgi sekmesine yapıştırın. İşiniz bittiğinde, Kaydet düğmesine tıklayın.

• Tarayıcınızdaki Google Arama Konsolu sekmesine geri dönün. Ardından, onayla düğmesine tıklayın.
• Google, sahipliği kontrol eder ve tamamlandıktan sonra tamamlanan mesajı görüntüler.
• Google Arama Konsolu kontrol paneline erişmek için "Mülkiyete git" seçeneğini tıklayın.

Şimdi, Open robot.txt test aracına geri dönün ve robots.txt dosyanızı yukarıda belirtildiği gibi test edin.

Robots.txt Dosyasının Artıları

Robots.txt dosyasını SEO bağlamında kullanmanın faydaları şunlardır:

• Botların taramasını istemediğiniz sayfalarda indekslemeyi atlayarak arama motorunun tarama bütçelerini optimize etmeye yardımcı olur. Bu, arama motorunun yalnızca sizin için önemli olan sayfaları taraması için bir öncelik oluşturur.
• Gereksiz yere kaynak tüketen botları kısıtlayarak web sunucusunu optimize etmeye yardımcı olur.
• Giriş sayfalarının, açılış sayfalarının, teşekkür sayfalarının arama motorları tarafından indekslenmesinden gizlenmesine yardımcı olur. Böylece web sitesinin performansını optimize eder.

robots.txt Dosyasının Eksileri

• Robots.txt dosyası oluşturmak yukarıda açıkladığımız gibi oldukça kolaydır. Ancak robots.txt dosyası, giriş sayfası gibi tarama botlarının dizine eklemesini istemediğiniz dahili sayfalarınızın URL'lerini de içerir. Bu, web sitenizi güvenlik ihlallerine karşı savunmasız hale getirir.
• Bir robots.txt dosyası oluşturmak kolay olsa da, basit bir hata yapmak bile tüm çabanızı boşa harcayabilir. Örneğin, dosyaya tek bir karakter eklerseniz veya yanlış yerleştirirseniz, tüm SEO çabalarınız boşa gider.

Sık Sorulan Sorular (SSS)

Çözüm

Bir web sitesinin SEO'su üzerinde çalışırken, kullanıcıların çoğu site haritaları oluşturmaya, geri bağlantılar üzerinde çalışmaya, anahtar kelimeleri araştırmaya ve içeriği optimize etmeye odaklanır. Yalnızca birkaç web yöneticisi robots.txt dosyasına dikkat eder.

Bir site başlatırken robots.txt dosyası pek bir rol oynamayabilir. Ancak web siteniz büyüdükçe robots.txt dosyasına dikkat etmeniz daha iyi sonuçlar verir.

Ayrıca, kategoriyi, arşiv sayfalarını ve etiketleri engellemenin tarama hızını artırdığı ve daha hızlı dizine eklemeyi desteklediğine dair bir efsane vardır. Bu yanlış.

Robots.txt dosyanızı oluşturmak için yukarıda bahsettiğimiz yöntemleri takip edin.

Bu makalenin, SEO için WordPress robots.txt dosyasının nasıl oluşturulacağı ve optimize edileceğine ilişkin sorgunuzu sıralamanıza yardımcı olacağını umuyoruz.

WordPress ile ilgili daha faydalı makaleler okumak istiyorsanız, aşağıdaki makaleleri okuyabilirsiniz:

• WordPress'te Site Haritası Nasıl Oluşturulur?
• WordPress Blogu Nasıl Başlatılır?