Bu başlığı ayarlayan Ask bot var:
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
Bunu göz önünde bulundurarak, aşağıdaki sorularım var:
Mozilla/2.0veya Mozilla/5.0?Kullanıcı aracımı mevcut standartlara uyacak şekilde nasıl biçimlendirmem gerektiği konusunda başka öneriler de memnuniyetle karşılanmaktadır.
Yanıtlar:
Oldukça büyük ölçekli bir web tarayıcısının birincil tasarımcısı ve yazarıyım (bkz. Metadatalabs.com/mlbot (arşivlenmiş bağlantı) ). Sorduğunuz şey bizim için çok önemli bir konuya - belki de bir paletli çalıştırmanın en önemli kısmı: nezaket konusuna değiyor.
Birincisi: "Mozilla" olayının nedeni, siteye tarayıcı özelliklerinizin ne olduğunu söylemektir. Botunuz bir tarayıcı gibi davranmaya çalışmıyorsa, "Mozilla" özelliğini eklemeniz için özel bir neden yoktur.
Kullanıcı aracısı dizeniz ve nezaketle ilgili diğer öğelere gelince:
Başka kimsenin kullanmadığını bildiğiniz bir isim seçin. "Goofybot" kullanırsanız iyi olacağınızdan şüpheleniyorum. Ama emin olmak için kontrol ettim.
Kullanıcı aracısı dizeniz, bot hakkında daha fazla bilgi için bir bağlantı içermelidir. Örneğin, dizemizde "MLBot (www.metadatalabs.com/mlbot)" yazıyor.
Birisi "Goofybot" kelimesini ararsa, o sayfanın arama sonuçlarında yüksek (tercihen önce) olduğundan emin olun.
Bot hakkındaki sayfanız, bilgileri ne için kullandığınızı, hangi IP adreslerinden taradığınızı söylemeli ve kişilerin botla ilgili sorunlar hakkında sizinle iletişim kurması için bir yol içermelidir.
"Müşteri her zaman haklıdır" felsefesini kullanarak soru ve şikayetlerinizi hızlı bir şekilde yanıtlamalısınız. Botunuz bu kişinin şikayet ettiği bir soruna neden olduysa, muhtemelen kimsenin şikayet etmediği bir düzine başka sitede sorunlara neden olduğunu unutmayın. Ya sorunları görmediler ya da sadece IP adresinize bir blok koydular.
Botunuzun belirli bir alan adına erişmesini önlemek için tesiste oluşturmalısınız. Bazı insanlar hiç taramanızı istemez ve bir robots.txt oluşturma veya .htaccess'te engelleme erişimine veya teknik yeteneğine sahip değildir. Bu yeteneğin birisine "MLBot'un bir soruna neden olduğu için özür dileriz. Sitenizi bir daha asla taramamasını istedik." Belki de şaşırtıcı değil, bu insanları çok çabuk sakinleştirir.
Robots.txt dosyasına zaten saygı duymuyorsanız yapın. Hiçbir şey size robots.txt'yi görmezden gelmekten daha hızlı kötü bir itibar getiremez.
Vay. Bu beklediğimden daha uzun sürdü. Son dört yılda, yukarıda bahsettiğim bu hataların her birini ve diğerlerini yaptım. Bununla birlikte, yaptığımız şey hakkında açık olursak ve dürüstçe iletişim kurarsak (şikayetler almadan önce hatalar hakkında bilgi gönderme dahil), Web Yöneticilerinin çoğunun bizi iyi bir İnternet vatandaşı olarak gördüğünü tespit ettik.
Mozilla / 2.0 ve Mozilla / 5.0, Mozilla tarayıcısına referanstır. Kullanan birçok tarayıcı ile büyük ölçüde anlamsız hale geldi, ancak siteye tarayıcınıza normal bir tarayıcıyla göz atan herhangi bir rastgele kullanıcı gibi davranmasını söylemelidir.
Bununla birlikte, kim olduğunuz ve bir sonraki bölümde neden tarama yaptığınızla ilgili bir sayfaya bağlantı veren bir URL eklemek iyi bir görgü kurallarıdır. Jeeves'e sadece adla kaçabileceğini sorun, ancak bir URL eklemeniz gerekir.
Örneğin
Mozilla/5.0 (compatible; http://example.org/)
Bu, web yöneticilerinin sitelerini neden taradığınızı belirlemelerine ve tarayıcınızın davranışlarıyla ilgili bir sorun varsa sizinle iletişim kurmasına olanak tanır.
Aşağıdaki bağlantıların yardımcı olabileceğini düşünüyorum: