7
Google robots.txt dosyasını önbelleğe alıyor mu?
Bir hafta önce sitelerimden birine bir robots.txt dosyası ekledim , bu da Googlebot'un belirli URL'leri almaya çalışmasını engellemişti. Ancak, bu hafta sonu Googlebot’un tam olarak bu URL’leri yüklediğini görebiliyorum. Google robots.txt dosyasını önbelleğe alıyor mu ve öyleyse almalı mı?