Web sunucumun access.log dosyasında çok fazla 404 hatası görmekten hoşlanmıyorum . Tarayıcılar bir robots.txt dosyası açmaya çalıştıklarından ancak bulamadıklarından bu hataları alıyorum . Bu yüzden günlük dosyamda 404 hatalarının görünmesini engelleyecek basit bir robots.txt dosyası yerleştirmek istiyorum .
Sitedeki her şeyin taranmasına izin verecek minimum geçerli bir robots.txt dosyası nedir?
Yanıtlar:
Belirtildiği gibi burada , adlı bir metin dosyası oluşturun robots.txt web sunucunun en üst düzey dizininde. Boş bırakabilir veya ekleyebilirsiniz:
User-agent: *
Disallow:
Robotların her şeyi taramasını istiyorsanız . Değilse, daha fazla örnek için yukarıdaki bağlantıya bakın.
En iyi minimal robots.txt, tamamen boş bir dosyadır.
Boş Disallowveya Allow: *yalnızca işe yaramaz olmaları nedeniyle gereksiz değildir, ancak gereksiz karmaşıklık ekler.
Dosyanın tamamen boş olmasını istemiyorsanız veya dosyayı daha okunabilir hale getirmek istiyorsanız, #karakterle başlayan bir yorum ekleyin # blank file allows all. Tarayıcılar, ile başlayan satırları yok sayar #.
Bunu söyleyebilirim;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Google'ın her şeyi taramasına izin verir, ancak Google'ın aadminn panelinizi taramasına izin vermez. Bu sizin için ideal bir durum.