Dinamik olarak aşırı HTTP bant genişliği kullanımını engelleme?

Bunu, 4 Haziran web trafiğindeki Cacti grafiklerimizde gördüğümüze şaşırdık :

IIS günlüklerimizde Log Parser'ı çalıştırdık ve sonuçta bu bize mükemmel bir Yahoo ve Google bot fırtınasıydı. Bu 3 saatlik sürede, 3 farklı Google IP’sinden 287 bin hit, Yahoo’dan 104 bin hit gördük. Ah?

Google veya Yahoo’yu engellemek istememize rağmen, bu daha önce ortaya çıkmıştır. Cisco PIX 515E cihazına erişimimiz var ve bunu web sitemize doğrudan dokunmadan bant genişliği suçlularıyla dinamik olarak başa çıkabilmemiz için ön plana çıkarmayı düşünüyoruz.

Ama bu en iyi çözüm mü? Aşırı bant genişliği kullanımını tespit etmemize ve engellememize yardımcı olabilecek herhangi bir yazılım veya donanım olup olmadığını merak ediyorum , ideal olarak gerçek zamanlı olarak? Belki web sunucularımızın önüne biraz donanım veya açık kaynaklı yazılım koyabiliriz?

Biz çoğunlukla bir Windows mağazayız ancak bazı Linux yeteneklerimiz de var; PIX 515E yeterli değilse donanım satın almaya da açığız. Ne önerirsiniz?

PIX'iniz işletim sistemi 7.2 veya daha yeni bir sürümünü kullanıyorsa veya yükseltilebilirse, güvenlik duvarı düzeyinde QOS ilkeleri uygulayabilirsiniz. Bu, özellikle trafiği şekillendirmenize izin verir ve botlar tarafından kullanılan bant genişliğini sınırlamanıza izin vermelidir. Cisco burada bu konuda iyi bir gudie var .

Yahoo'dan emin değilim, ancak Google'ın botunun sitenizi endeksleme sıklığını yapılandırabilirsiniz. Google Webmaster’lara bir göz atın . Yahoo'nun benzer bir şey olup olmadığından emin değilim. Herhangi bir durumda, trafiğinizi% 50'ye kadar azaltabilirsiniz.

Alternatif olarak, bazı web sunucuları bağlantı başına trafiği sınırlayabilir, böylece bunu deneyebilirsiniz. Kişisel olarak donanım çözümlerinden uzak duracağım, çünkü daha büyük olasılıkla daha pahalıya mal olacak.

Tarama yükünü azaltmak için - Bu yalnızca Microsoft ve Yahoo ile çalışır. Google için, Web Yöneticisi Araçları ( http://www.google.com/webmasters/ ) aracılığıyla daha yavaş bir tarama hızı belirlemeniz gerekir .

Bunu uygularken ÇOK dikkatli olun çünkü sürünmeyi çok yavaşlatırsanız, robotlar sitenize erişemez ve dizindeki sayfaları kaybedebilirsiniz.

İşte bazı örnekler (bunlar robots.txtdosyanıza gider ):

# Yahoo's Slurp Robot - Please wait 7 seconds in between visits

User-agent: slurp
Crawl-delay: 7

# MSN Robot - Please wait 5 seconds in between visits

User-agent: msnbot
Crawl-delay: 5

Konu dışı biraz, ancak bir Site Haritası veya Site Haritası dizini dosyası da belirleyebilirsiniz.

Arama motorlarına en iyi URL’lerinizin kapsamlı bir listesini sağlamak istiyorsanız, bir veya daha fazla Site Haritası otomatik keşif yönergesi de sağlayabilirsiniz. Lütfen kullanıcı aracısının bu yönerge için geçerli olmadığını, bu nedenle bazılarını tüm arama motorlarına değil bir site haritası belirtmek için kullanamayacağınızı unutmayın.

# Please read my sitemap and index everything!

Sitemap: http://yourdomain.com/sitemap.axd

Bir Watchguard güvenlik duvarı kullanıyoruz (bizimki şu anda yaşamın sonu olan bir X1000'dir). Engelleme alanlarını veya ips'leri etrafında dönen ve tekrar tekrar görülebilen veya takıntılı bir miktarda bant genişliği kullanan birçok özelliğe sahiptirler.

Bu biraz dolandırıcılık gerektirecektir, çünkü tam olarak Jon Skeet'i stackoverflow'ta bloke etmek istemeyeceksiniz :)

Microsoft ISA Server 2006’yı tavsiye ederim. Bu gereksinim için, varsayılan olarak IP başına 600 HTTP isteği / dak sınırlayacaktır ve Jon Skeet için bir istisna uygulayabilirsiniz (üzgünüm, "şaka" nın zaten yapıldığını fark ettim! ).

Uygulama düzeyinde filtrelemenin ek avantajlarına, birden fazla web sunucusu arasında (bu sunuculardaki NLB yerine) yük dengeleme özelliğine, VPN sonlandırmasına vb. Sahip olursunuz. Çok sayıda ticari uzantı vardır ve kendi ISAPI filtrenizi bile yazabilirsiniz. cesur hissediyorsun.

Belli ki açık kaynaklı değil, bir Windows mağazasına faydaları var ve emtia donanımında çalışıyor.

Bu tür şekillendirme sorununu ele almak için Foundry yük dengeleyicilerini (özellikle SI850'ler) kullanıyoruz, aynı zamanda SYN seli vb. Gibi diğer birçok "kötüleri" de ele alıyor.

Bluecoat (eski Paketleyici) PacketShaper ürünleri yönettiği trafikte aşırı kullanımı dinamik olarak kısabilir.

Hatta herhangi bir uygun kapasitede / bağbozumu için herhangi bir normal Cisco yönlendirici ile basit oran sınırlaması yapabilirsiniz. Cisco yönlendirici mi kullanıyorsunuz?