Bu henüz cevabı olmayan, hızla değişen bir olaydır.
Lütfen bulgularınızı veya varsayımlarınızı cevap olarak göndermeyin; Aslında bir cevabınız olduğunda cevap alanını ayırın.
Ekleyecek yeni bir şeyiniz varsa , lütfen doğrudan soruya ekleyin.
Yılın başından beri, kullanıcı aracısıyla çok fazla trafik alıyorum:
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729).
Erişim günlüklerim, bu kullanıcı aracısından% 40 -% 60 gösteriyor. Garip çünkü kullanıcı aracı bir Firefox 3.0.10 tarayıcısı belirtir (2012'de bu tarayıcıyı kullanan herhangi biri var mı? Kesinlikle normal bir web sitesinde ziyaretçilerin% 40 -% 60'ı değil).
Ayrıca, günlükler bu kullanıcı aracısının yalnızca HTML belgesini istediğini ve resimler, css, js dosyaları gibi başvurulan varlıklar olmadığını gösterir.
Bu isteklerin IP'lerini kontrol ettim (UA ile). Dünyanın her yerinden geliyor. Bu IP'lerin bazen mobil bir kullanıcı aracısı olduğunu fark ettim.
Bu yüzden benim şüphem, "örümcek isteklerinin" çoğunu yapan bir mobil uygulamadır. Bu kullanıcı aracısından gelen trafiğin kök nedenini bilmek iyi olurdu.
Kök nedenini tanımlayan var mı?
Son birkaç haftada, o UA’dan gelen trafiğin düştüğünü ve diğer trafiğin arttığını kabul ettik. Bot / paletli şimdi daha yaygın bir UA kullanıyor ve bu nedenle engellemesi daha zor gibi görünüyor. Bu sorunun cevabını söyleyen başka birini gördüm ama serverfault bu soruyu yeniden düzenlemeye karar verdiğinde kaldırıldı.
Referans olarak eski cevaplar
Dee'den güncelleme
Kendimi oldukça insan ticareti yapan web sitemi işletiyorum ve geçen ay boyunca apache günlüklerimizde de aynı şeyi görüyorum (henüz daha fazla kontrol etme şansım olmadı). Tüm taleplerin% 40'ı açıkça görüyorum ki bu fındık olduğunu görüyorum.
Ayrıca isteklerin her zaman talep eden tarayıcının gzip sıkıştırmasını desteklemediğini belirttiğini farkettim - tüm web sayfası isteklerinin sıkıştırılmamış olarak gönderilmesi ve bant genişliği kullanımımız çatıya çarpıyor!
Ancak şu ana kadar neler olup bittiğini tam olarak belirleyemedim - şu ana kadar şüpheli olduğum tek şey, bir sahte proxy sunucusu veya sahte bir kullanıcı dizesi gönderen bir mobil cihaz için böyle bir şey olabileceği.
Eklendi: Sadece biraz daha araştırma yaptım ve antivirüs yazılımı gibi görünüyor: http://www.webmasterworld.com/search_engine_spiders/4428772.htm
Jamur21'den güncelleme
Evet, birden fazla site arasında benzer trafik fark ettik.
Hala temel nedeni arıyoruz, ancak bulgularımızdan bazıları:
Eğer bir örümcekse, oldukça zayıf bir iş yapıyor. Etki alanı başına yalnızca bir veya iki URL'yi bir süre (belki de birkaç saat), başka bir URL’ye geçinceye kadar çekiç gibi görünüyor. İçerik her zaman göreceli olarak "güncel" olsa da, Google Haberler'in Dee’nin cevabında yayınlanan bağlantısında da belirtildiği gibi bir etken olduğuna inanıyor (tüm sitelerimiz haber siteleri).
IP'ler coğrafi olarak dağılmış olsa da, çoğumuz kaynak sitenin yakınında görünüyorlar (sitelerimizin çoğu yerel haber kaynaklarıdır, bu yüzden çok fazla ulusal trafik almazlar). Neredeyse hiçbir talep ABD dışından gelmiyor. Yine, bu, Google Haberler’den sızan URL’lere güvenirlik kazandırır (Google Haberler’i posta koduyla yerelleştiren kişilerin içeriğimizi göreceğini tahmin ediyorum).
Çoğu zaman, talepler arka plan gürültüsü olarak (özellikle gürültülü olsa da) yazılabilir, ancak günde birkaç kez yükseliriz ve bu UA tek başına yaklaşık 15-30 dakika boyunca ~ 100mbps trafiği hesaba katar.
Maalesef, Google Haberler bu URL’lerin keşfedilmesi için muhtemel bir vektör gibi gözükse de, gördüğümüz her şey olağanüstü ve bu URL’lerin nasıl ve neden dövüldüğü hakkında hala bir sigara tabancamız yok.
Bannow Bay'den güncelleme
Büyük bir haber sitemiz var - hikayelerimiz haftada birkaç kez Google Haberler’den alınıyor. Kasım ayının sonundan beri bu kaynaktan trafik alıyoruz - ve haftadan haftaya büyüyor - belki Şubat ayında 30 milyon kişi.
Google Haberler’in ABD’nin ön sayfasında görünmek, bu trafik için tetikleyicidir - yaklaşık yüzde 75’i ABD’nin IP’lerinden almaktadır. Fakat her ne ise, kendisini gizlemek için büyük çaba harcıyor. Ve bu kolay değil.
Sigara içen bir tabanca da bulamadık, ancak büyük bir güvenlik satıcısı bizim adımıza daha fazla araştırma yapmayı kabul etti.
Artem Russakovskii’den güncelleme
Aynı şey ilk defa bir haber sitesine (AndroidPolice.com) da oldu. QPS'yi ortalama% 5000'in üzerine çeken bu rastgele isteklerin yaklaşık 10 dakikası (Linode'nin NodeBalancer sınırı olan 5000qps'dir). CPU istekleri G / Ç ve ağ yerken boşta başladı - bu gerçek bir DDOS idi.
Ben gerçekten bunun altına almak isterdim, ama şu anda tamamen şaşırtıcı görünüyor.
Güncelle Mark
Sadece +1 ekleyerek. Aynı davranışı sitemizde de görüyoruz. Buraya eklenecek bir sürü yeni bilgi değil, ancak trafiğimizin genel şekli:
- Trafik çok dağınık. Trafik ~ 60k'dan fazla benzersiz IP'den geliyor.
- Trafiğin büyük çoğunluğu, genellikle Google Haberler’de listelenen son bir URL olan tek bir URL’ye çarpıyor (Google Haberler her zaman vektör gibi görünmese de)
- Bu trafiğin tamamı, burada ve orada bazı garip mobil ajanlar görmüş olsak da, bu konu başlığında belirtildiği gibi aynı Firefox / 3.0.10 kullanıcı aracısından geliyor.
- Bu aracıdan gelen tüm trafik yönlendiren veri içermiyor.
- Patlama haftada bir veya iki kez 30-60 dakika boyunca gerçekleşir ve sonra gider.
Don İrlanda'dan güncelleme
Son gönderi 13 Nisan’dı, ancak trafik kesinlikle sona ermemişti. Bunun en garip kısmı, tuzuna değecek herhangi bir kötü amaçlı yazılım yazarının, modern bir tarayıcıdan bir kullanıcı aracı dizesini kesinlikle kullanabileceği (kesinlikle) kullanabileceği ve blok kullanıcısı savunmasını değersiz kılabileceği gerçeği olabilir. Bu gerçek, 'zararsız' bir haber toplayıcısı ya da başka bir uygulama kaynağı gibi görünmesini sağlar. Yine de şu ana kadar gerçek bir sonuca varamadım ve bilgili kimsenin buraya göndereceğini umuyorum.
Aynı modeli görüyoruz, google haberi tarafından toplanan bir hikaye ve ardından hikayeyi isteyen çok yüksek trafik ani izleri görüyoruz (ancak görüntüler gibi aksesuar dosyalar değil). Giden yanıt trafiği, ağı doyurabilecek ani yükselmelere neden olur (veya yalnızca 503 hatayla yanıt vermeye başlayana kadar). Bu saldırılar (başkalarına ne diyebiliriz?) Ortalama 30 dakika sürmektedir, ancak çok popüler hikayelerin bir saat veya daha uzun bir süre boyunca yüksek trafiği olabilir (Firefox 3.0.10 trafiğinden bahsediyorum, tabii ki normal trafik de yüksek kalıyor) bir süre için).
Bir saatlik bir sürede (yük dengeli bir gruptaki tek bir sunucu için) 200.000 istek gördük; bunun 97.000'i firefox 3.0.10 istekleriydi, tüm isteklerin neredeyse% 50'si. Normalde bir sayfanın ana dosya ve aksesuar dosyaları için 10 veya daha fazla istek oluşturduğunu düşündüğünüzde, 97.000 daha büyük tezgahlarda görünür. 97.000'in 51.000 tekil IP adresinin bulunduğunu not ediyorum. Ve bir saatten bahsediyorum (aslında 45 dakikaya yakındı). Buna neyin sebep olduğu oldukça yaygındır.
Güncelle user119708
Aynı sorunu Fransız yüksek teknoloji ürünü bir web sitesinde de görüyoruz.
Bir haber google haberlerinde yayınlanıp görüntülendiğinde, trafik haberlerinde IP ve kullanıcı aracısı "Mozilla / 5.0 (Windows; U; Windows NT 5.1; tr-US; rv: 1.9.0.10 Gecko / 2009042316 Firefox / 3.0.10 (.NET CLR 3.5.30729) ".
Tüm IP adresleri Fransa'da veya Fransa ülkelerinde yer almaktadır ve yönlendiren yoktur. Bir bot gibi görünüyor ama neden birkaç dakika boyunca tek bir uzak adresin aynı haberde 50 veya 100 kez geri gelmesi gerekiyor? Virüs bulaşmış bilgisayarlar olabilir mi? Bu durum, haberler Google haberlerinde göründüğünde neden ortaya çıkıyor? Google bu garip trafikten sorumlu mu?
Bu konudaki biri açıklamayı bulmuşsa, birçok orta veya büyük web sitesinin trafiğini kontrol etmesine yardımcı olacağını düşünüyorum!
EDIT: http://2bits.com/botnet/botnet-hammering-web-site-causing-outages.html Gerçekten virüslü bir bilgisayarsa, ilgili adres sayısı göz önüne alındığında çok endişe vericidir. Bu betiği Apache'nin tüm trafiği engellemesi için uygulayacağız:
# Referer is empty
RewriteCond %{HTTP_REFERER} ^$
# User agent is bogus old browser
RewriteCond %{HTTP_USER_AGENT} "Gecko/2009042316 Firefox/3.0.10"
# Forbid the request
RewriteRule ^(.*)$ - [F,L]
Ernesto'dan Güncelleme
Orta ispanyolca genel haber sitesi, birkaç günden beri ilgisiz haberlerde yoğun trafik olduğunu fark etti.
Her kim ise, sayfa yüklendikten sonra veritabanı güncellemeleriyle artırdığımız "sayfa görüntüleme" sayısından dolayı fark ettiğimiz gibi HTML'nin tamamını yükler.
Her gün yalnızca bir veya iki URL hedeflendiğini fark ediyoruz.
Birkaç saniye içinde aynı URL üzerinden birkaç istek (7000-12000), farklı IP'lerden gün içinde dağıtıldı. Ertesi gün diğer URL'ler hedeflendi.
Referans yok.
Hedeflenen makaleler Google Haberler’de yayınlandı, ancak konuyla ilgili olduğunu garanti edemiyoruz.
Google Analytics bunu yasal trafik olarak tanımıyor. 8000'den fazla isabet içeren makalelerimiz var ve GA sadece 25 kadar rapor veriyor (javascript'in yorumlanmadığını varsayıyorum).
Eski Pro'dan Güncelleme
Sizin için birkaç veri noktası eklemek.
Botlar ve Tarayıcılar , bu UA'yı bir bot (henüz) olarak görmüyor.
Günlük kaydı yaptığım en çok trafik çeken sitede, Mayıs 2012’ye kadar bu kullanım, bu UA’yı trafiğin% 1’inden az olarak gösteriyor. UA taleplerinin önemli bir kısmı meşru görünüyor (örneğin tüm beklenen kaynakları yüklüyor). Bu temelde Şubat 2012 ile aynıdır.
Bu sitenin ön sayfası nadiren güncellenir ve tüm dinamik içerikler robots.txt tarafından engellenir.
Bu muhtemelen Genieo’dan. Yeni bir kullanıcı aracısı kullanmak için uygulamalarını güncellediler: Mozilla / 5.0 + (uyumlu; + Genieo / 1.0 + http://www.genieo.com/webfilter.html ). Orijinal kullanıcı aracısı ile aynı desenle vurur, ancak şimdi kendilerini tanımlıyorlar. Kullanıcı temsilcilerindeki URL’ye bakarsanız, belirli web sitelerine çok fazla trafik çektiklerini ya da gelebileceklerini bile kabul ederler. - dflaw
Mike Fagan'dan Güncelleme
Şimdilik DDOS saldırıları olduğunu varsaydığımız şeyle savaşıyoruz. Genieo'yu bu saldırılar için yararlı olarak görmeye başladık. Daha önce "Mozilla / 5.0 (Windows; U; Windows NT 5.1; en-US; rv: 1.9.0.10) Gecko / 2009042316 Firefox / 3.0.10 (.NET CLR 3.5.30729)" ve " Mozilla / 5.0 (Windows NT 6.1; rv: 11.0) Gecko / 20100101 Firefox / 11.0 ". 10k + farklı IP, aynı IP’nin 100+ kez talep ettiği ve herhangi bir ek varlık veya reklam çekmeyen sadece 3 veya 4 sayfaya günde 1 milyondan fazla talep. Benim buldum ki, bu IP'lerin hiçbiri aslında sitemizdeki diğer sayfalara gitmedi.
Genieo ile temasa geçtim ve bu onların cevabı:
"Bizimle iletişime geçtiğiniz için teşekkürler.
Genieo'nun eski sürümü, tanımladığınız trafik yüklerine neden olmuş olabilir. Bunun neden olabileceği rahatsızlıktan dolayı özür dileriz. Bunu açıklayan ve güncelleyen dün yayınladık, uygulamamızdaki veri yükünün önümüzdeki 24 saat içinde kaybolması gerekiyor. Sitenizi yeni kullanıcılara tanıtarak iyi bir servis yaptığımıza inanıyoruz. Kurulum tabanımız büyüdükçe bazı oturma yerlerinde aşırı yüklenmeye neden olabileceği konusunda doğru bir değerlendirme yapmadık.
Genieo kişisel bir gazete veya akıllı bir RSS okuyucusudur. Akıllı anlamsal kişiselleştirme filtrelemeli bir müşteri tarafı RSS okuyucusudur. Genieo uygulaması kullanıcının favori sitelerinden gelen RSS verilerini takip eder ve anlamsal analiz yaparak makaleleri “okur” ve ilgilenilen kullanıcı alanlarına göre filtreler. Makale, kullanıcının ilgi alanlarıyla eşleşiyorsa, uygulama makalenin başlığını ve pasajını kullanıcı ana sayfasında gösterir. Başlığa tıklamak makalenin sitesine yönlendirecektir - siteniz. Genieo temsilcisi özerktir (gizlilik nedenleriyle); Son kullanıcılar makinesinde çalışır, bu nedenle aracının sitenize birçok farklı IP’lerden eriştiğini görürsünüz.
Genieo verilerinin çoğu, kullanıcının normal RSS yayınlarından gelir, ancak Genieo, daha önce kullanıcılar tarafından kaydedilmemiş olan yeni haber sitelerinden de (içerik ve çeşitlilik için) bazı içerikler ekler. Genieo algoritmaları "sıcak" makaleleri, Twitter en çok isabetlenenleri, en çok görüntülenen YouTube’u arar ve Google haberleri kullanıcının çıkarlarına uygun olup olmadığını vurgular ve kontrol eder
Bunun bir site için yük sorununa neden olduğunu bilmiyorduk. Bu dikkatimizi çektikten sonra mevcut kullanıcıları, yük atmalarını önleyen yeni bir sürümle güncelleriz.
Saygılarımla,
-Dotan