Google’ı Yeni robots.txt Dosyasını Okumaya Nasıl Teşvik Edebilirim?

22

Robots.txt dosyamı yeni bir sitede güncelledim; Google Web Yöneticisi Araçları, son güncellememden 10 dakika önce robots.txt dosyasını okuduğunu bildirdi.

Google'ı robots.txt dosyasını en kısa sürede yeniden okumaya teşvik etmemin bir yolu var mı?

GÜNCELLEME: Site Yapılandırması Altında | Paletli Erişim | Robots.txt dosyasını test edin:

Ana Sayfa Erişimi şunları gösterir:

Googlebot http://my.example.com/ adresinden engellendi

Bilginize: Google'ın en son okuduğu robots.txt şöyle görünür:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

Kendimi ayağımdan mı vurdum, yoksa sonunda okuyacak mı: http: ///robots.txt (en son okuduğu gibi)?

Ne yapmam gerektiği hakkında fikrin var mı?

google robots.txt google-webmaster-tools

— qxotk
kaynak

Bilginize: Site yeni ve bu mesaj Ayarlar | Tarama Hızı: "Sitenize özel tarama hızı ayarları atandı. Tarama hızını değiştiremezsiniz."

— qxotk

Bilginize: Google gruplarında google'ın robots.txt dosyasını "en az günde bir kez" okuyacağını söyleyen bir ilan buldum - herkes bunu onaylayabilir mi? [google grupları gönderme burada: groups.google.com/group/google_webmaster_help-indexing/… ]

— qxotk

Bilginize: 1 gün geçti ve google henüz güncellenen robots.txt dosyasını okumadı.

— qxotk

Burada aynı sorun, bu bir "özellik" değil ...

— mate64

25

Başkasının bu soruna çalışması durumunda google botunu robots.txt dosyasını yeniden indirmeye zorlamanın bir yolu vardır.

Sağlığa Git -> Google [1] olarak al ve /robots.txt dosyasını getir

Bu dosyayı yeniden indirir ve google da dosyayı yeniden ayrıştırır.

[1] önceki Google kullanıcı arayüzünde 'Teşhis -> GoogleBot Olarak Al' idi.

— Mat
kaynak

11

Robots.txt ayarlanmışsa ne yazık ki bu işe yaramaz Disallow: /. Getirmek yerine "robots.txt tarafından Reddedildi": / yazısını alır.

— studgeek

3

Bir dahaki sefere bu satırı ekle. İzin ver: /robots.txt

— jrosell

'Teşhis'i bulamıyorum, belki de kullanıcı arayüzü değişti?

— David Riccitelli

2

Tamam, şimdi Sağlık> Google olarak al.

— David Riccitelli

Robots.txt dosyasını almaya çalıştığımda benim için çalışmıyor. HATA: "Googlebot'un indirdiği en son robots.txt dosyası tarafından engellendiği için sayfa şu anda taranmadı. Robots.txt dosyasını en son güncellediyseniz, yenilenmesinin iki gün kadar sürebileceğini unutmayın. Robots.txt ile ilgili Yardım Merkezi makalesinde daha fazla bilgi bulabilirsiniz. "

— Indrek

4

Bunun çok eski olduğunu biliyorum, ancak ... Yanlış robots.txt dosyasını yüklediyseniz (tüm sayfalara izin vermeyin), şunları deneyebilirsiniz:

ilk önce doğru sayfalara izin vermek için robots.txt dosyanızı düzeltin, ardından
sayfalarınıza sitemap.xml yükleyin

google, xml site haritasını okumaya çalıştığında, robots.txt dosyasını tekrar okuyacak ve google'ı robots.txt'nizi yeniden okumaya zorlayacaktır.

— Hüssam
kaynak

Bu benim için işe yaramadı. Site haritasının robots.txt tarafından engellendiğini söylüyor

— James

1

TAMAM. İşte yaptığım şey ve birkaç saat içinde Google robots.txt dosyalarımı yeniden okudu.

Çalıştığımız her site için 2 sitemiz var. Onlara kanonik site (www.mysite.com) ve çıplak alan sitesi (mysite.com) diyelim.

Sitelerimizin kurulumunu yaptık, böylece mysite.com her zaman www.mysite.com adresine yönlendiren bir 301 döndürür.

Her iki siteyi de Google Web Yöneticisi araçlarında kurduğumda, www.mysite.com'un kanonik site olduğunu söylemiştim, kısa bir süre sonra kanonik sitede robots.txt dosyasını okuduktan sonra.

Nedenini gerçekten bilmiyorum ama olan bu.

— qxotk
kaynak

3

Bunun eski olduğunu biliyorum, ancak kendi cevabınızı kabul etmek% 100 meşru

— Mark Henderson

0

Bazı günler için google tarama aralığını kısaltın.

Ayrıca, robots.txt dosyanızı doğrulamak için başka bir şey gördüm, bu google’a zorlanabilir, ancak emin değilim.

— BarsMonster
kaynak

Daha spesifik olabilir misin? Görüyorum: Site Yapılandırması | Paletli Erişim | Robots.txt dosyasını test edin, ancak kutuya yapıştırdığınız metni test eder, canlı robots.txt dosyanızı değil, aynı zamanda en son ne zaman indirileceğini de söyler. Bahsettiğiniz "doğrula" düğmesi nerede?

— qxotk