Geçmişte Yahoo'nun (inanılmaz) kötü yazılmış örümceği ile ilgili ciddi sorunlarımız oldu ve bunun sonucunda onları engelledik. Tumblr'dan Marco Arment de 8/31/2009 tarihinde bizimle ilgili hayal kırıklıklarını paylaştı, bu da onları engellememizi sağlayan bir faktördü.
[Yahoo Örümcek], EST'den yaklaşık 5: 30'dan bu yana bizi 70-200 istek / saniye sular altında bıraktı. Böyle bir şeyi hiç görmedim, geçmişte bizi taciz eden haydut "deneysel" tarayıcılarından bile. Robots.txt yasağı yeterli değil: Yük dengeleyici düzeyinde IP ile engellemem gerekiyor. Geçmişte Stack Overflow'u kötüye kullandıklarından, bilmek isteyebileceğinizi düşündüm.
Görünüşe göre Yahoo'nun web araması "Bing! şimdi. Bu iyi, çünkü Bing'in örümceği ile bir sorunumuz olmadı (aka MSNBOT).
Öyleyse, Yahoo'nun araştırması şu anda Bing araştırması ile aynı mı, yoksa bir şekilde, her şeye rağmen, bu kadar emmeyi bırakmışlarsa, potansiyel olarak engelleri kaldırmaya mı bakıyoruz?