Bir hafta önce sitelerimden birine bir robots.txt dosyası ekledim , bu da Googlebot'un belirli URL'leri almaya çalışmasını engellemişti. Ancak, bu hafta sonu Googlebot’un tam olarak bu URL’leri yüklediğini görebiliyorum.
Google robots.txt dosyasını önbelleğe alıyor mu ve öyleyse almalı mı?
Yanıtlar:
Sitenizi Google Search Console'a (önceden Google Web Yöneticisi Araçları) kaydettirmenizi önemle tavsiye ederim . Site yapılandırması altında, robots.txt dosyanızın en son ne zaman indirildiğini bildiren bir tarayıcı erişimi bölümü vardır . Araç ayrıca, tarayıcıların sitenizi nasıl gördüğüne, neyin engellenip neyin çalışmadığına ve Google'daki sorgularda nerede göründüğüne ilişkin çok fazla ayrıntı sağlar.
Söyleyebileceğim kadarıyla Google robots.txt dosyasını sık sık indiriyor . Google Search Console sitesi, URL'leri dizinden özel olarak kaldırmanıza da izin verir, böylece şimdi engellemekte olduğunuz URL'leri kaldırabilirsiniz.
Sebat. Robots.txt dosyasından meta noindex, nofollow dizinine geçtim. Meta'nın çalışması için robots.txt dosyasındaki engellenen adreslerin engellemesinin kaldırılması gerekiyordu.
Bunu acımasızca robots.txt dosyasını silerek (ve google'ın web yöneticisinde silerek) yaptım.
Web yöneticisi aracında (engellenen sayfa sayısı) görüldüğü gibi robots.txt kaldırma işleminin tamamlanması 10 hafta sürdü ve bu toplu iş yalnızca son 2 hafta içinde google tarafından kaldırıldı.
Evet, Google açık bir şekilde robots.txt dosyasını bir ölçüde önbelleğe alacaktır - bir sayfaya her bakmak istediğinde indirmeyecektir. Ne kadar süreyle önbelleğe aldığını bilmiyorum. Ancak, uzun bir Expires üstbilgisi kümeniz varsa, Googlebot dosyayı kontrol etmek için çok daha uzun süre bırakabilir.
Başka bir sorun yanlış yapılandırılmış bir dosya olabilir. Danivovich'in önerdiği Web Yöneticisi Araçları'nda bir robots.txt denetleyicisi var. Hangi tür sayfaların engellendiğini ve hangilerinin iyi olduğunu söyleyecektir.
Google'ın Dokümantasyonu genellikle robots.txt dosyasını bir gün boyunca önbelleğe alacaklarını , ancak yenilemeye çalışırken hata alırlarsa daha uzun süre kullanabileceğini belirtir .
Bir robots.txt isteği genellikle bir güne kadar önbelleğe alınır, ancak önbelleğe alınan sürümün yenilenmesinin mümkün olmadığı durumlarda (örneğin, zaman aşımları veya 5xx hataları nedeniyle) önbelleğe alınabilir. Önbelleklenen yanıt farklı tarayıcılar tarafından paylaşılabilir. Google, maksimum yaşta Cache-Control HTTP başlıklarına dayanarak önbellek ömrünü uzatabilir veya azaltabilir.
Evet. Genellikle günde bir kez güncellediklerini söylüyorlar, ancak bazıları belirli sayıda sayfa isabetinden (100?) Sonra da kontrol edebileceklerini, böylece daha yoğun sitelerin daha sık kontrol edilmesini önerdi.
Bkz /webmasters//a/29946 ve @DisgruntedGoat yukarıda paylaştığı videoyu http://youtube.com/watch?v=I2giR-WKUfY .
Kullanıcıların erişebildikleri önbellekte görebildiğim kadarıyla, yapmanız gereken şey robots.txt dosyanızın URL'sini bir Google Arama'ya yazmak ve ardından küçük yeşil açılır oku tıklayıp 'önbelleğe alınmış' seçeneğini tıklamaktır (aşağıdaki resme bakın) bu size Googles sunucularından bu sayfanın en son sürümünü verecektir.
Google'ın URL kaldırma aracını kullanarak kaldırılmasını isteyebilirsiniz .