SEO için WordPress Robots.txt'i optimize etmeye yönelik eksiksiz kılavuz

Web sitenizin hızlı bir şekilde dizine eklenmesi, SEO için optimize edilmesi ve SERP arama sonuçları sayfasındaki sıralamaların iyileştirilmesi için öncelikle WordPress için teknik bir robots.txt dosyası oluşturmanız gerekir. Robots.txt dosyası, dizin sitenizi nasıl tarayacağınızı ve yapılandıracağınızı gösterir, özellikle de onu son derece güçlü bir SEO aracı haline getirir. Bu nedenle, bu makalede SEO için WordPress robots.txt dosyasını geliştirmek için eksiksiz bir kılavuz önereceğiz.

WordPress Robots.txt nedir?

Bu, bir web sitesinin kök klasöründeki metin dosyasıdır ve hangi sayfaların dizine eklenebileceği için arama motoruna ilişkin talimatlar sağlar.

Arama motorlarının çalışma sürecini daha önce keşfettiyseniz, tarama ve dizine ekleme aşamasında web tarayıcılarının, dizinlerine dahil edebilecekleri, web üzerinde herkese açık sayfaları bulmaya çalıştıklarını bileceksiniz.

Bir web tarayıcısının bir web sitesini ziyaret ettiğinde yaptığı ilk şey, robots.txt dosyasının içeriğini bulmak ve kontrol etmektir. Dosyada belirtilen kurallara bağlı olarak, taranabilecek ve ardından site için özel olarak dizine eklenebilecek bir URL listesi oluştururlar.

Neden bir WordPress robots.txt dosyası oluşturmanız gerekiyor?

Arama motoru botlarının web sitenizi "taramasının" engellendiği veya kısıtlandığı birçok durum vardır:

İçerik geçersiz ve kopyalanmış

Aslında, web sitenizde sistem kurulum dosyaları, WordPress eklentileri vb. gibi birçok başka bilgi görüntülenmiyor .

Bu bilgi kullanıcı için değerli değildir. Ayrıca, web sitesinin içeriğinin kopyalandığı birkaç durum vardır. İçerik hala dizine ekleniyorsa, web sitesini sulandıracak ve web sitesinin gerçek içerik kalitesini düşürecektir.

Web sitesini kurmak ve test etmek için alt sayfalar

Bu durumda, WordPress ile yeni bir web sitesi oluştururken, web sitesini tasarlama ve kurma sürecini tamamlamamış olabilirsiniz, genellikle kullanıcı için hazır değildir, arama motoru botlarının “taramasını” ve doğrulamalarını önlemek için önlemler almanız gerekir. İnternet sitesi.

Sadece bu değil, bazı web sitelerinde yalnızca web sitesi özelliklerini ve tasarımını test etmek için kullanılan birçok alt sayfa bulunur, kullanıcıların bu tür sitelere erişmesine izin vermek, web sitesinin kalitesini ve şirketinizin profesyonelliğini etkileyecektir.

Büyük kapasiteli web sitesi uzun bir yükleme süresi alıyor

Her arama motoru botunun, web sitesi ziyareti başına yalnızca sınırlı bir "tarama" özelliği vardır. Web siteniz çok miktarda içeriğe sahip olduğunda, botların analiz etmesi daha fazla zaman alacaktır çünkü bir ziyaret için yeterince çalıştıysa, web sitesinde kalan içerik, botların bir sonraki dönüşüne kadar beklemelidir. tekrar taranabilir ve indekslenebilir.

Web sitenizde hala gereksiz dosya ve içerik varsa ancak önce dizine eklenirse, yalnızca web sitesinin kalitesini düşürmekle kalmaz, aynı zamanda botları dizine eklemek için daha fazla zaman harcar.

Sürekli indeksleme yaparken web hızını azaltır

Robots.txt dosyası olmadığında, botlar web sitenizdeki tüm içeriği taramaya devam eder. Müşterilerinizin görmek istemediği içeriği göstermenin yanı sıra, sürekli tarama ve dizine ekleme, sayfanın yüklenme hızını da yavaşlatabilir.

Web hızı, web sitenizi ziyaret ettiklerinde kaliteyi ve kullanıcı deneyimini etkileyen web sitesinin önemli ölçüde hayati bir yönüdür. sayfa da daha yüksek.

Bu nedenlerden dolayı, WordPress'in botlara talimat vermesi için bu tür bir teknik dosya oluşturmalısınız: “Botlar bir tarafı tarar, diğer tarafı taramaz!”. WordPress'in standart robots.txt dosyasının kullanılması, botların web sitesi taraması ve indeksinin artırılmasına ve verimliliğine yardımcı olur. Oradan, web siteniz için SEO sonuçlarını iyileştirin.

WordPress web siteniz için bu dosyaya sahip olmak gerekli mi?

Bir site haritası kullanmıyorsanız, yine de web sitenizi zorlayacak ve sıralayacaksınız. Ancak arama motorları, hangi sayfaların veya klasörlerin çalıştırmak istememesi gerektiğini söyleyemez.

Bir blog başlattığınızda, bunun pek bir önemi yok. Ancak, siteniz büyüdükçe ve çok sayıda içeriğiniz olduğunda sitenizin nasıl dalgalandırıldığı ve dizine eklendiği konusunda daha fazla kontrol isteyebilirsiniz.

Arama botunun web sitesi başına bir tarama kotası vardır. Bu, bir tarama oturumu sırasında belirli sayfaları taradıkları anlamına gelir. Onlar web sitesindeki tüm sayfaları bitmiş değil varsa, geliyorlar ve bir sonraki oturumda tekrar kaynıyor. Orada değil hala kaybolur.

Bu, web sitenizin indeksleme hızını azaltabilir. Ancak, arama botlarının wp-admin admin sayfası, eklenti dizini ve tema dizini gibi gereksiz sayfaları taramaya çalışmasına izin vermeyerek bunu düzeltebilirsiniz.

Gereksiz sayfaları reddederek tarama kotanızdan tasarruf edebilirsiniz. Bu, arama motorlarının web sitenizin sayfalarını tökezlemesine ve daha hızlı dizine eklemesine olanak tanır.

Robots.txt dosyalarını kullanmanın bir başka iyi nedeni de arama motorlarının gönderileri veya sayfaları dizine eklemesini engellemektir. Bu, arama motoru içeriğini gizlemenin en güvenli yolu değildir, ancak arama sonuçlarını önlemeye yardımcı olur.

SEO içeriği için Robots.txt dosyasını optimize etmek için mükemmel kılavuz

Birçok blog sitesi, WordPress web'lerinde çok mütevazı bir robots.txt dosyası çalıştırmayı tercih eder. İçeriği, belirli bir web sitesinin ihtiyaçlarına bağlı olarak değişebilir:

Kullanıcı aracısı: *

İzin verme:

Site Haritası: http://www.example.com/post-sitemap.xml

Site Haritası: http://www.example.com/page-sitemap.xml

Bu robots.txt dosyası, tüm içeriği belirtmek için tüm botlara XML site haritasına bir bağlantı verir.

WordPress web siteleri için bazı yararlı dosyaların aşağıdaki yönergelerini öneririz:

Kullanıcı Aracısı: *

İzin ver: /wp-content/uploads/

İzin verme: /wp-content/plugins/

İzin verme: /wp-admin/

İzin verme: /readme.html

İzin verme: /referans/

Site Haritası: http://www.example.com/post-sitemap.xml

Site Haritası: http://www.example.com/page-sitemap.xml

WordPress'in tüm resimleri ve dosyaları indekslenir. Arama botları, eklenti dosyalarını, yönetici alanını, benioku dosyalarını ve bağlı kuruluş bağlantılarını bile indeksleyebilir.

Ayrıca robots.txt dosyasına bir harita ekleyerek Google Bot'ların web sitenizdeki tüm sayfaları bulmasını kolayca sağlayabilirsiniz.

Web siteniz için bir WordPress robots.txt dosyası oluşturma

Not Defteri'ni kullanarak robots.txt dosyası oluşturun

Not Defteri, Microsoft'tan minimal bir metin düzenleyicisidir . Pascal, C +, HTML programlama diline hizmet eden kod yazmak içindir, …

WordPress robots.txt için “robots.txt” adıyla web sitesi kaynak dosyasına düzgün şekilde kaydedilmiş bir metin dosyası, ASCII veya UTF-8 gereklidir. Her dosya birçok kural içerir ve her kural bir satırdadır.

Yeni bir not defteri dosyası oluşturabilir, onu robots.txt olarak kaydedebilir ve kuralları yukarıda belirtildiği gibi ekleyebilirsiniz.

Bundan sonra, WordPress dosyasının public_html dizinine yüklenmesi tamamlandı.

Yoast SEO eklentisini kullanarak robots.txt dosyası oluşturun

Yoast SEO eklentisi, web sitenizin SEO'sunu içerik açısından optimize etmenize yardımcı olacak en iyi puan alan eklentiler arasındadır. Ancak Yoast SEO, sitelerinizin optimizasyonu için yenilikçi bir dosya oluşturmanıza yardımcı olan bir robots.txt WordPress eklentisi olarak da görülebilir.

İlk önce Dashboard'a gidiyorsunuz .

Gösterge Tablosu => Seç Yoast SEO yönetici sayfasında => Dosya Düzenleyiciyi Seçin WordPress için dosyayı başlatmak veya mevcut bir dosyayı düzenlemek için Yeni Oluştur'u seçin .

Özel robots.txt dosyasının tamamlandığını onaylamak için Değişiklikleri robots.txt dosyasına Web sitesini tekrar ziyaret edin ve yeni yüklediğiniz yeni kuralları göreceksiniz.

Google Arama Konsolunda robots.txt dosyasını kontrol edin

Başlamak için Google Arama Konsoluna giriş yapabilir ve web sitenizin mülkünü kaydedebilirsiniz .

Eski arayüze dönmek ve kullanımı etkinleştirmek için Eski sürüme git'i seçin .

Tarama altında => Hata ve Uyarı sayısının sonucunu kontrol edin => Varsa düzeltme yapın.

Yeni robots.txt dosyasını indirmek ve yeni dosyayı orijinal dizine yeniden yüklemek için Güncellenmiş kodu indir'i seçin veya otomatik olarak güncellemek için Son Düşünceler

Bu makale sayesinde, WordPress için bir robots.txt dosyası oluşturmanın yolunun yanı sıra önemini de öğrendiniz. Standart bir robots.txt dosyasına sahip olmak, web sitenizin ve arama motoru botlarının daha iyi etkileşime girmesine yardımcı olur, böylece sitenin bilgileri doğru bir şekilde güncellenir ve daha fazla kullanıcıya ulaşma yeteneği artar.

WordPress için kendi teknik dosyanızı oluşturmaya ve web sitesinin SEO'sunu hemen geliştirmeye başlayalım!

Devamını Okuyun: WordPress'i Korumak için En İyi 10 Ücretsiz WP Yedekleme Eklentisi