Boş bir robots.txt ile hiç robots.txt yok arasında bir fark var mı?

Bir web sunucusunda artık kabul etmem gerekiyor, robots.txt dosyasının boş olduğunu fark ettim. Boş bir robots.txt ile hiç dosya arasında bir fark olup olmadığını merak ettim.

Tarayıcı bu iki durumda farklı davranıyor mu? Peki boş bir robots.txt dosyasını silmek güvenli midir?

Tarayıcı bu iki durumda farklı davranıyor mu?

Boş olan bir robots.txt dosyası bulunamayan dosyadan gerçekten farklı değil, ikisi de taramaya izin vermiyor.

Bununla birlikte 404, tarayıcılar bu soruda burada belirtildiği gibi , robots.txt dosyasını istediğinde sunucu günlüklerinizde çok fazla hata alabilirsiniz .

Öyleyse, boş bir robots.txt dosyasını silmek güvenli midir?

Evet, yukarıdaki uyarıda.

Hayır. Fark yok.

Sunucu günlüğünüzde 404 hata alırsınız ve Google Web Master araçları gibi şeylere abone olursanız, size sahip olmadığınızı söyleyebilir, ancak tarayıcı robotu davranışları açısından - bunlar aynıdır umurunda olan herhangi bir robot.