«user-agent» etiketlenmiş sorular

Geçmişte Yahoo'nun (inanılmaz) kötü yazılmış örümceği ile ilgili ciddi sorunlarımız oldu ve bunun sonucunda onları engelledik. Tumblr'dan Marco Arment de 8/31/2009 tarihinde bizimle ilgili hayal kırıklıklarını paylaştı, bu da onları engellememizi sağlayan bir faktördü. [Yahoo Örümcek], EST'den yaklaşık 5: 30'dan bu yana bizi 70-200 istek / saniye sular altında bıraktı. …

25 user-agent  bing  yahoo  web-crawlers 

Bu başlığı ayarlayan Ask bot var: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Bunu göz önünde bulundurarak, aşağıdaki sorularım var: Goofy adında bir web tarayıcısı yazıyorsam, hangi kullanıcı aracısını kullanmalıyım? Fark ne koyarsanız olduğunu Mozilla/2.0veya Mozilla/5.0? Kullanıcı aracımı mevcut standartlara uyacak şekilde nasıl biçimlendirmem gerektiği konusunda başka öneriler de memnuniyetle karşılanmaktadır.

18 user-agent  web-crawlers 

Boş bir User-agent'ı nasıl yorumlamalıyım? Bazı özel analitik kodlarım var ve bu kod sadece insan trafiğini analiz etmek zorunda. İnsan trafiğini ve bot trafiğini belirten Kullanıcı aracılarının çalışma listesine sahibim, ancak boş Kullanıcı aracısı sorunlu olduğunu kanıtlıyor. Boş Kullanıcı aracısıyla yaklaşık% 10 oranında çok trafik alıyorum. Ayrıca, geçerli günlüklerimi analiz …

13 apache  analytics  http  user-agent  logging 

Günlüklerim genellikle Doğu Avrupa ve Çin'den gelen bot ziyaretçileriyle dolu. Botlar Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou vb. Bu botları sitemden engellemeli miyim ve neden? Hangilerinin siteme gelen trafiği artırmak için meşru bir amacı var? Birçoğu SEO. Botların çok sayıda gelmesinden bu yana daha az trafik gördüğümü söylemeliyim . Bunları engellemek …

12 seo  web-crawlers  user-agent 

Kullanıcı aracıları birlikte listelenebilir ve bunları bir robots.txt dosyasında olduğu gibi ortak kuralları izleyebilir mi? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

11 web-crawlers  robots.txt  user-agent 

Herhangi bir normal tarayıcıdaki kullanıcı aracısı 'bot' veya 'tarama' içeriyor mu? Bir bottan gelip gelmediğini görmek için sitemdeki kullanıcı aracısını kontrol ediyorum. Eğer öyleyse, giriş yapmadıkları için küçük optimizasyonlar yapabilirim. (İçeriği hiç değiştirmiyorum) 30-40 + botlar için kontroller ekledikten sonra bunları eklemekten bıktım. Bu yüzden sadece 'bot' ya da 'tarama' …

11 user-agent 

Sitemdeki Apache erişim günlüğü girişleri genellikle şuna benzer: 207.46.13.174 - - [31 / Ekim / 2016: 10: 18: 55 +0100] "GET / iletişim HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (uyumlu; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 ÖZLÜK 10.10.36.125:104 0.607 böylece burada kullanıcı-aracı …

10 joomla  user-agent  apache-log-files  botattack 

Küçük bir web tarayıcısı çalıştırıyorum ve bunun için hangi kullanıcı aracısının kullanılacağına karar vermek zorunda kaldım. Tarayıcı ajanlarının ve Wikipedia'nın listeleri aşağıdaki biçimi önerir: examplebot/1.2 (+http://www.example.com/bot.html) Ancak bazı botlar URL'nin önündeki artı işaretini atlar. İlk başta bunun ne anlama geldiğini merak ediyorum, ancak herhangi bir açıklama bulamadım. RFC 2616, parantez …

10 web-crawlers  http  user-agent 

Yasal nedenlerden dolayı otomatik olarak dizine eklenemeyen veya aranamayan bir sitem var. Bu, tüm robotları uzak tutmamız ve siteyi örümcek yapmasını önlememiz gerektiği anlamına gelir. Açıkçası baştan beri izin vermeyen bir robots.txt dosyasına sahibiz. Ancak, robots.txt dosyasını gözlemlemek yalnızca iyi davranan robotların yaptığı bir şeydir. Son zamanlarda, daha az iyi …

9 apache  web-crawlers  user-agent