Google'ı robots.txt'imi kontrol etmesini isteyebilir miyim?

Bu sorudaki cevapları okudum, ancak yine de sorumu açık bırakıyorlar: Google robots.txt'yi önbelleğe alıyor mu?

Google Web Yöneticisi Araçları'nda robots.txt dosyamın yeniden indirilmesini başlatmanın bir yolunu bulamadım .

Bazı hatalar nedeniyle, robots.txt dosyamın yerine:

User-agent: *
Disallow: /

Ve şimdi tüm içeriğim Google arama sonuçlarından kaldırıldı.

Açıkçası, bunu mümkün olan en kısa sürede düzeltmekle ilgileniyorum. Robots.txt dosyasını zaten değiştirdim , ancak Google'ın önbelleğe alınmış sürümü güncellemesinin bir yolunu bulamıyorum.

İstediğiniz zaman robots.txt dosyanızı yeniden indirmelerini sağlayamazsınız. Google yeniden tarar ve siteniz için uygun olduğunu düşündüklerinde yeni verileri kullanır. Güncelleme dosyanızın bulunması ve sayfalarınızın yeniden taranması ve yeniden dizine eklenmesi uzun sürmesini beklememem için düzenli olarak tarama eğilimindedirler. Sayfalarınız yeniden taranmadan yeni robots.txt dosyasının bulunmasının biraz zaman alabileceğini ve bunların Google'ın arama sonuçlarında yeniden görünmesinin daha fazla zaman alabileceğini unutmayın.

www.satyabrata.com16 Haziran'da yeni web sitemi başlattığımda da aynı sorunla karşılaştım .

Bir vardı Disallow: /benim de robots.txt aynen Oliver gibi,. Google Web Yöneticisi Araçları'nda engellenen URL'ler hakkında bir uyarı mesajı da vardı.

Sorun dün 18 Haziran'da çözüldü. Aşağıdakileri yaptım. Hangi adımın işe yaradığından emin değilim.

1. Sağlık -> Google Gibi Getir: robots.txt ve ana sayfa. Ardından dizine gönderin.
2. Ayarlar -> Tercih edilen alan adı: Görünen URL www.satyabrata.com
3. Optimizasyon -> Site Haritaları: XML site haritası eklendi.

Engellenen URL'lerle ilgili uyarı mesajı artık kaldırıldı ve Google Web Yöneticisi Araçları'nda indirilmiş yeni bir robots.txt dosyası gösteriliyor.

Şu anda Google'da dizine eklenmiş yalnızca iki sayfam var, ana sayfa ve robots.txt . Web sitesinde 10 sayfam var. Umarım geri kalanlar yakında endekslenir.

Görüntülerin ayrı bir CNAME sunucusuna taşındığı ve görüntüler klasörüne izin verilmeyen bir sorun yaşadım. Temizlememin yolu, Web Yöneticisi Araçları'nda web sayfasını Google aracı olarak okumak için robots.txt dosyasının alınmasıydı. Bana robots.txt dosyasını alıp okuduğunu söyledikten sonra gönderdim. Bu, Google'ın robots.txt dosyasını okuduğunu ancak resim klasörüne izin vermek için değiştirilen kurallara uyacak şekilde örümcek oluşturduğunu bildirdiği görüntüleri taramak için üç aylık bir ambargo kırdı. Bir hafta içinde görüntüler tekrar dizine ekleniyordu.

Denemeye değer olabilir. Google'ın zaman zaman takıldıkları ve dosyayı tekrar okuyamadıkları bilinmektedir.

Umarız bu bağlantı web sitelerinizi taramanıza yardımcı olur: https://support.google.com/adsense/answer/10532?hl=tr .

Kaldır /senin dan robots.txt dosyası.

Benim durumumda sorun afraid.org adlı ücretsiz bir DNS hizmeti kullanıyordum.

(ücretsiz alan adım sona erdi .us.to)

Bir TLD'ye geçtikten sonra çalışmaya başladı.