Herhangi bir özel davranış belirlemek istemiyorsam, bir robots.txt dosyasına sahip olmak istemiyorsam sorun değil mi?

29

Yoksa birinin eksikliği zararlı olabilir mi?

robots.txt

— Dan Dumitru
kaynak

30

Bir robots.txt dosyasının olmayışı zararlı olmayacaktır. Gönderen robotstxt.org web :

Tüm robotların tam erişimine izin vermek için

Kullanıcı aracısı: *
Disallow:

(veya sadece boş bir "/robots.txt" dosyası oluşturun ya da hiç kullanmayın)

Ancak, robots.txt dosyanızda hiçbir şey belirtmeseniz bile, arama motorlarını XML Site Haritanızın konumuyla ilgili bilgilendirmek için iyi bir yoldur . Bunu, robots.txt dosyanızın en üstüne bir satır benzeyen bir çizgi ekleyerek yapabilirsiniz:

Site Haritası: http://www.example.com/sitemap-host1.xml

Ayrıca, sahip olmamanızın web kayıtlarınızda çok sayıda 404 giriş oluşturacağının farkında olmalısınız.

— JasonBirch
kaynak

1 - İyi özeti, gerçekten Kinopiko doğru ne vurgulamak istiyorum gerçi zaten stresli : sadece en temel veya hatta boş bir tane oluşturun bu 404'lerin önlemek ve (sitelerinizde 404 sayfa işleme bağlı olarak) potansiyel olarak oldukça uzun bir trafik / bant genişliği , arama motorları, eğer değişmemişse boş olsun olmasın yeniden indirmeyi atlamak için uygun HTTP önbellek kontrolü uygulayacaktır .

— Steffen Opel

Viki olarak işaretlendi, lütfen uygun gördüğünüz şekilde düzenleyin.

— JasonBirch

21

Eğer "robots.txt" kodunuz yoksa, hata günlüğünüz dosyada çok fazla 404s alacaktır, bu da bir faviconunuz olmasa da bir tür sıkıntı olabilir.

1

mükemmel bir nokta ..

— Jeff Atwood

1

+1 - Kendinizi sadece daha büyük ve gürültülü günlük dosyalarından kurtarmakla kalmayıp, 404 sayfanın çoğundan dolayı ( bazı siteler / sayfaların kullanımına bağlı olarak) potansiyel olarak bazı trafik / bant genişliğinden kaçınabileceğinizi de eklemek isterim. Basit bir robots.txtdosyadan daha büyük , buna ek olarak uygun HTTP önbellek kontrolü uygulayan arama motorları nedeniyle daha az indirilecek .

— Steffen Opel

6

Ben düşünüyorum sahip aksi web büyük swaths web örümcekler tarafından un Dizin oluşturulamayan olurdu, Tamam gibi.

Hayır robots.txt, robots.txttanım gereği "herkesin endekslemesine izin ver" ile aynıdır .

— Jeff Atwood
kaynak

2

Bir robots.txt dosyasının olmayışı, ne yapıp yapamayacağına karar vermek için tarayıcıya bırakır. Herhangi bir belirsizlikten kaçınmak sadece birkaç saniye sürdüğü için, neden tüm ajanların her şeye erişmesine izin veren bir kişi olmasın?

— Tim Post
kaynak

0

Peki, site haritanızınrobots.txt adresini içerdiğinden, birine sahip olmamak potansiyel olarak zararlı olabilir.

— Thomas Bonini
kaynak

site haritaları yalnızca belirli web siteleri için yararlıdır, ancak IMO

— Jeff Atwood

Ben de tarayıcıların robots.txt yokluğunda /sitemap.xml veya /sitemap.gz için görünüm (özellikle google) gördüğüm

— Tim Mesaj

Site haritanızın robots.txt dosyanızda olması gerekmez, yine de Google / Yahoo / Bing’e gönderebilirsiniz. Kesinlikle "potansiyel olarak zararlı" değil.

— DisgruntledGoat

0

İçeriğinize bağlı olarak, sitenizdeki her sayfanın arama motorları tarafından endekslenmesini istemediğiniz sürece bir robot dosyasına sahip olmayla ilgili herhangi bir sorun olmamalıdır.

— seanl
kaynak