«web-crawler» etiketlenmiş sorular

McAfee SiteAdvisor'ın web sitemi "güvenlik sorunları yaşıyor" olarak bildirdiğini öğrendim . McAfee web sitemde ne düşünüyorsa onu çok az umursuyorum (kendim güvenceye alabilirim ve olmasa da, McAfee kesinlikle yardım isteyeceğim şirket değil, çok teşekkür ederim). Yine de beni rahatsız eden şey, görünüşe göre, web sitemi iznim olmadan taradılar. Netleştirmek için: …

30 web-crawler 

Büyük siteler (örneğin Wikipedia) diğer IP maskerlerinin arkasındaki botlarla nasıl başa çıkar? Örneğin, üniversitemde herkes Wikipedia'yı araştırıyor ve önemli bir yük veriyor. Ancak, bildiğim kadarıyla, Wikipedia sadece üniversite yönlendiricisinin IP'sini bilebilir, bu yüzden bir "serbest bırakılmış" bot kurarsam (istekler arasında sadece küçük bir gecikmeyle), Wikipedia botumu tüm organizasyonu yasaklamadan yasaklayabilir …

12 web-crawler 

Sitemi agresif bir şekilde kazımaya devam eden belirli bir kişiyle sorun yaşıyorum; bant genişliği ve CPU kaynaklarını israf etmek. Zaten web sunucusu erişim günlüklerimi kuyruklayan, her yeni IP'yi bir veritabanına ekleyen, bu IP'den yapılan isteklerin sayısını izleyen ve aynı IP içinde belirli bir istek eşiğini geçerse, bir sistem uyguladım belirli …

10 ip  isp  whois  web-crawler  ip-blocking 

Bir süre önce Apache'yi yükledim ve access.log dosyasına hızlı bir bakış, bilinmeyen her türlü IP'nin, çoğunlukla 403, 404, 400, 408 durum koduyla bağlandığını gösteriyor. Nasıl buldukları hakkında hiçbir fikrim yok IP adresim, çünkü sadece kişisel kullanım için kullanıyorum ve arama motorlarını uzak tutacağını umarak bir robots.txt ekledim. Dizinleri engelliyorum ve …

8 apache-2.2  web-crawler