Siteler proxy'lerin veya şirket ağlarının arkasındaki botları nasıl algılar

Büyük siteler (örneğin Wikipedia) diğer IP maskerlerinin arkasındaki botlarla nasıl başa çıkar? Örneğin, üniversitemde herkes Wikipedia'yı araştırıyor ve önemli bir yük veriyor. Ancak, bildiğim kadarıyla, Wikipedia sadece üniversite yönlendiricisinin IP'sini bilebilir, bu yüzden bir "serbest bırakılmış" bot kurarsam (istekler arasında sadece küçük bir gecikmeyle), Wikipedia botumu tüm organizasyonu yasaklamadan yasaklayabilir mi? bir site aslında bir örgütsel ağın arkasındaki IP'yi yasaklayabilir mi?

Hayır, genel IP'yi yasaklayacaklar ve bu IP'ye NAT olan herkes de yasaklanacak.

Her ne kadar en azından Yığında bir kolej ya da bunun gibi bir şeyi yasaklayacağımızı düşünürsek, suçluyu takip etmelerini ve sorunu durdurmalarını sağlamak için kötüye kullanım kişilerine ulaşacağız.

Bir site NAT'ın arkasındaki IP'yi doğrudan yasaklayamaz. Anonimleştirici olmayan HTTP proxy'lerinden geçirilen IP'ler üzerinde etkili olabilir - böyle bir proxy bir istek ilettiğinde, genellikle bu adresi bir X-Forwarded-For başlığına ekler, bu nedenle özel ağınızdan erişim gerçekten böyle bir dahili IP'nin açığa çıkabileceği proxy; ancak çoğu site (wikipedia dahil) zaten bu başlıktaki bilgilere güvenmez çünkü masum IP'leri veya yasaklardan kaçınmak kolaydır.

Ancak kullanıcıları IP adresinden bağımsız olarak benzersiz bir şekilde tanımlamaya çalışan başka teknikler de vardır. Bir web tarayıcısını, kullanıcı aracısı, ekran çözünürlüğü, eklenti listesi vb. Gibi birçok bilgi için çalıştırabilirsiniz - bkz. Https://github.com/carlo/jquery- tarayıcı parmak iziuygulamada bunun bir örneği. Erişimi kontrol etmek için bu tür parmak izlerini kullanabilirsiniz, ancak site tasarımına bağlı olarak parmak izi işlemine girmeden onunla etkileşime girebilirsiniz ve bir bot kullanamasanız bile, bir bottan kaçınmak için sahte ve rastgele veriler sağlayabilir. bu tür bir korumanın mevcut olduğunu biliyorsanız, tutarlı parmak izi. Bu kontrol yöntemi, özellikle aynı stok donanımında aynı stok istemcilerini çalıştıran çok sayıda istemcinin olacağı mobil cihazlar söz konusu olduğunda yanlış pozitif olma riskini de taşır (belirli bir iPhone modelindeki çoğu kişi belirli bir iOS sürümünü çalıştırıyor) örneğin, muhtemelen aynı parmak izini alır).

Genellikle IP adresi doğru bir yasak için yeterli bilgi değildir. Böylece gelişmiş ağlar ağ yığınında en üst düzeyde çalışır.

Hizmet Reddi (DoS) saldırısı (oluşturma konusunda endişelendiğiniz) genellikle ilk TCP bağlantı kurulumunu sınırlandırarak gerçekleştirilir. Bu, beklemek isteyen meşru kullanıcıların geçeceği anlamına gelirken, sadece sunucu kaynaklarını tüketmeye çalışanlar zararsız hale gelene kadar yavaşlar. DoS daha sonra Dağıtılmış DoS (DDoS) saldırısına dönüştü.

Sunucuya bağlandıktan sonra istediğiniz kadar istekte bulunabilirsiniz, web sunucusu yönetimi kaç istek işleneceğini yapılandırabilir.

Web sunucusu muhtemelen yerel ağ geçidinizden daha fazla kapasiteyi işleyebilir, bu muhtemelen kullanım durumunuzdaki sınırlayıcı faktördür. Bahse girerim, Vikipedi yapmadan önce Üniversite ağ yöneticilerin kapıyı çalmaya gelirdi.

İyi bir İnternet vatandaşı olmak önemlidir, bu yüzden bir bota hız sınırlayıcı kod eklerdim.

Ayrıca, Wikipedia'nın siteyi trol haline getirmenin gerçekten gerekli olmaması için veri dökümleri sunduğuna dikkat edilmelidir.