Google Web Yöneticisi Araçları bana robotların site haritasına erişimi engellediğini söylüyor

Bu benim robots.txt dosyam :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.example.org/sitemap.xml.gz

Ancak Google Web Yöneticisi Araçları, robotların site haritasına erişimi engellediğini söylüyor:

Site Haritanıza erişmeye çalışırken bir hatayla karşılaştık. Lütfen Site Haritanızın yönergelerimize uyduğundan ve sağladığınız yerden erişilebildiğinden emin olun ve ardından yeniden gönderin: URL, robots.txt tarafından kısıtlandı .

Google Web Yöneticisi Araçları'nın robots.txt dosyasını önbelleğe aldığını okudum , ancak dosya 36 saatten daha önce güncellendi.

Güncelleme:

TEST site haritasına basmak Google'ın yeni bir site haritası getirmesine neden olmaz. Bunu yalnızca SUBMIT site haritası yapabilir. (BTW, mevcut site haritanızı buraya yapıştırmazsanız, 'site haritası testinde' anlamını bilmiyorum - site haritasının testten önce girmenizi istediği adresten yeni bir kopyasını almıyor - ancak bu başka bir gün için bir soru.)

Yeni bir site haritası gönderdikten sonra (test etmek yerine) durum değişti. Artık " robots.txt tarafından engellenen URL . Site haritası robots.txt tarafından engellenen URL'ler içeriyor ." 44 URL için. Site haritasında tam olarak 44 URL var. Bu , Google'ın yeni site haritasını kullandığı, ancak hala eski robotlar kuralıyla devam ettiği (her şeyin sınırlarını koruduğu) anlamına gelir. 44 URL'den hiçbiri /wp-admin/ya da değildir /wp-includes/(bu zaten bir şekilde imkansızdır, çünkü robots.txt üzerine kuruludur. site haritasını oluşturan aynı eklentiyle uçun).

Güncelleme 2:

Daha da kötüleşiyor: Google Arama sonuçları sayfasında ana sayfanın açıklaması şu şekildedir: "Bu sitenin robots.txt dosyası nedeniyle daha fazla bilgi edinin - bu sonucun açıklaması mevcut değil ". Diğer tüm sayfaların iyi açıklamaları vardır. Ana sayfanın robots.txt VEYA robots meta engelleme endekslemesi yoktur .

Sıkıştım.

Google, muhtemelen robots.txt dosyanızın önbelleğini henüz güncellememiş gibi görünüyor. Mevcut robots.txt dosyanız (yukarıda) site haritası URL'nizi engelliyormuş gibi görünmüyor.

Google'ın önbelleğini güncellemediğini tahmin ediyorum.

Tahmin etmeye gerek yok. "Sağlık"> "Engellenen URL'ler" altındaki Google Web Yöneticisi Araçları'nda (GWT), robots.txt'nizin en son ne zaman indirildiğini ve başarılı olup olmadığını görebilirsiniz. Ayrıca robots.txt dosyası tarafından kaç URL'nin engellendiğini de size bildirir.

Yorumlarımda belirtildiği gibi, GWT'nin bir robots.txt denetleyici aracı ("Sağlık"> "Engellenen URL'ler") var. Böylece robots.txt dosyanızdaki değişiklikleri hemen test edebilirsiniz (gerçek dosyanızı değiştirmeden). Üst metin alanında robots.txt dosyasını ve alt metin alanında test etmek istediğiniz URL'leri belirttiğinizde engellenip engellenmeyeceklerini size bildirir.

Robots.txt dosyasının önbelleğe alınması

Bir robots.txt isteği genellikle bir güne kadar önbelleğe alınır, ancak önbelleğe alınan sürümün yenilenmesinin mümkün olmadığı durumlarda (örneğin, zaman aşımları veya 5xx hataları nedeniyle) önbelleğe alınabilir. Önbelleğe alınan yanıt farklı tarayıcılar tarafından paylaşılabilir. Google, maksimum yaşta Cache-Control HTTP başlıklarına dayanarak önbellek ömrünü artırabilir veya azaltabilir.

Kaynak: Google Developers - Robots.txt Teknik Özellikleri

WP yükleme sırasında arama motoru veya aynı seçenekle izlememeyi seçtiğim için sitemle aynı sorunu yaşadım.

Bu sorunu çözmek için:

1. Web Yöneticisi Araçları'na gidin, URL'yi kaldırın ve www.example.com/robots.txtbu seçenekle gönderin -> içeriği değiştirmek için önbellekten kaldırın veya ...
2. bir dakika bekle
3. site haritası URL'nizi tekrar gönderin
4. bitiş