Mevcut olmayan URL'lerle büyük 404 saldırısı. Bunu nasıl önleyebilirim?

Sorun, Google Web Yöneticisi Araçları tarafından bildirildiği gibi, daha önce hiç bulunmayan sayfalar ve sorgularla ilgili 404 hatadan oluşan bir yüktür. Bunlardan biri viewtopic.php, ve ben de sitenin bir WordPress sitesi ( wp_admin) olup olmadığını ve cPanel girişi için kontrol etmek için korkunç sayıda deneme fark ettim . TRACE'i zaten engelliyorum ve sunucu tarama / hacklemeye karşı bazı savunmalarla donatılmış. Ancak, bu durmuyor gibi görünüyor. Google Web Yöneticisi'ne göre yönlendiren totally.me.

Bunu durdurmak için bir çözüm aradım, çünkü zayıf gerçek gerçek kullanıcılar için kesinlikle iyi değil, SEO endişeleri.

Bozulabilir Press mini kara listesi ( burada bulunur ), standart bir yönlendiren engelleyici (porno, bitkisel, casino siteleri için) ve hatta siteyi korumak için bazı yazılımlar (XSS engelleme, SQL enjeksiyonu vb.) Sunucu diğer önlemleri de kullanıyor, bu yüzden sitenin güvenli olduğunu umuyoruz (umarım), ama bitmiyor.

Başka kimsenin aynı sorunu var mı yoksa bunu gören tek kişi ben miyim? Bence bu bir çeşit saldırı mı yani bir çeşit saldırı mı? Bu işe yaramaz kaynak israfını düzeltmenin veya daha iyi bir şekilde önlemenin bir yolu var mı?

EDIT Soruyu cevaplar için teşekkür etmek için hiç kullanmadım ve umarım bu yapılabilir. Bu konudan çıkış yolumu bulmama yardımcı olan görüşlü yanıtlarınız için hepinize teşekkür ederim. Herkesin önerilerini takip ettim ve aşağıdakileri uyguladım:

• bir bal küpü
• 404 sayfasındaki URL'lerden şüphelenenleri dinleyen ve bana standart bir 404 üstbilgisi döndürürken kullanıcı aracısı / ip ile bir e-posta gönderen bir komut dosyası
• meşru kullanıcıları, aynı 404 özel sayfasında ödüllendiren bir komut dosyasıdır. 24 saatten daha az bir sürede, hepsi Spamhaus'ta listelenen bazı şüpheli IP'leri izole edebildim. Şimdiye kadar kaydedilen tüm IP'ler spam VPS barındırma şirketlerine aittir.

Hepinize tekrar teşekkürler, yapabilseydim bütün cevapları kabul ederdim.

Sık sık sitemde var olmayan tonlarca sayfaya bağlantı veren başka bir site görüyorum. Bu sayfayı tıklayıp bağlantıyı görmeseniz bile:

• Site daha önce bu bağlantıları almış olabilir
• Site, bu bağlantıları ziyaretçilere değil, yalnızca Googlebot’a gizliyor ve sunuyor olabilir

Kaynak israfıdır, ancak Google'ı karıştırmaz ve sıralamanıza zarar vermez. Google'ın John Mueller (Web Yöneticisi Araçları ve Site Haritaları üzerinde çalışan) , Web Yöneticisi araçlarında görünen 404 hataları hakkında şunları söylemelidir :

YARDIM! SİTEM 939 CRAWL HATASI VAR !! 1

Bu tür bir soruyu haftada birkaç kez görüyorum; yalnız değilsiniz - birçok web sitesinde tarama hataları vardır.

1. Geçersiz URL'lerdeki 404 hataları, sitenizin dizine eklenmesine veya sıralamasına hiçbir şekilde zarar vermez . 100 veya 10 milyon olması fark etmez, sitenizin sıralamasına zarar vermezler. http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. Bazı durumlarda, tarama hataları web sitenizdeki veya CMS'nizdeki meşru bir yapısal sorundan kaynaklanabilir. Nasıl söylersin? Tarama hatasının kaynağını iki kez kontrol edin. Sitenizde, sayfanızın statik HTML'sinde bozuk bir bağlantı varsa, bu her zaman düzeltilmeye değer. (teşekkürler + Martino Mosna )
3. “Açıkça kırılan” korkak URL'ler ne olacak? Algoritmalar sitenizi beğendiğinde, örneğin JavaScript'te yeni URL'ler keşfetmeye çalışarak daha fazla harika içerik bulmaya çalışabilirler. Bu "URL'leri" dener ve bir 404 bulursak, bu harika ve beklenen bir durumdur. Sadece önemli bir şeyi kaçırmak istemiyoruz (buraya aşırı eklenmiş Googlebot meme'yi ekleyin). http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. Web Yöneticisi Araçları'ndaki tarama hatalarını düzeltmenize gerek yoktur. “Sabit olarak işaretle” özelliği, yalnızca oradaki ilerlemenizi takip etmek istiyorsanız size yardımcı olmak içindir; web arama kanalımızdaki hiçbir şeyi değiştirmez, bu yüzden ihtiyacınız yoksa bunu göz ardı etmekten çekinmeyin. http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. Web Yöneticisi Araçları'ndaki tarama hatalarını, birkaç faktöre göre öncelikli olarak listeleriz. Tarama hatalarının ilk sayfası açıkça alakasızsa, muhtemelen sonraki sayfalarda önemli tarama hataları bulamazsınız. http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. Web sitenizdeki tarama hatalarını "düzeltmeye" gerek yoktur. 404'leri bulmak normaldir ve sağlıklı, iyi yapılandırılmış bir web sitesinden beklenir. Eşdeğer yeni bir URL'niz varsa, URL'ye yönlendirmek iyi bir uygulamadır. Aksi takdirde, sahte içerik oluşturmamalısınız, ana sayfanıza yönlendirmemelisiniz, robots.txt dosyasının bu URL'lere izin vermemesi gerekir - tüm bunlar sitenizin yapısını tanımamızı ve düzgün bir şekilde işlememizi zorlaştırır. Biz buna “yumuşak 404” hataları diyoruz. http://support.google.com/webmasters/bin/answer.py?answer=181708
7. Açıkçası - bu tarama hataları önem verdiğiniz URL'ler, belki de Site Haritası dosyanızdaki URL'ler için gösteriliyorsa, hemen harekete geçmeniz gereken bir şeydir. Googlebot önemli URL'lerinizi tarayamazsa, arama sonuçlarımızdan çıkarılabilir ve kullanıcılar da bunlara erişemeyebilir.

Çeşitli yazılımlarda bilinen güvenlik açıklarını bulmak için internette rastgele IP adreslerini iyimser olarak tarayan tonlarca komut dosyası var. Zamanın% 99,99'u, hiçbir şey bulamazlar (sitenizdeki gibi) ve zamanın% 0,01'i, komut dosyasını makineye alır ve komut dosyası denetleyicisinin istediği her şeyi yapar. Genellikle, bu komut dosyaları, orijinal komut dosyası kiddie'sinin gerçek makinesinden değil, daha önce pwnd olan makinelerin anonim botnet'leri tarafından çalıştırılır.

Ne yapmalısın?

1. Sitenizin savunmasız olmadığından emin olun. Bu sürekli uyanıklık gerektirir.
2. Bu, normal site performansından etkilenecek kadar fazla yük oluşturuyorsa, belirli bir siteden gelen bağlantıları kabul etmemek için IP tabanlı bir engelleme kuralı ekleyin.
3. Sunucu günlüklerinize bakarken CMD.EXE veya cPanel veya phpMyAdmin veya tonlarca başka güvenlik açığına yönelik taramalara filtre uygulamayı öğrenin.

Sunucunuzdan herkese iade edilen 404’ün Google’ın siteniz hakkında ne düşündüğünü etkileyeceğine inanıyor gibisiniz. Bu doğru değil. Sitenizi yalnızca Google tarayıcıları ve belki de Chrome kullanıcıları tarafından döndürülen 404'ler etkileyecektir. Sitenizdeki tüm bağlantılar uygun bağlantılar olduğu ve daha önce dünyaya açtığınız bağlantıları geçersiz kılmadığınız sürece herhangi bir etki görmezsiniz. Senaryo botları Google ile hiçbir şekilde konuşmaz.

Gerçek bir şekilde saldırıya uğruyorsanız, bir tür DoS azaltma sağlayıcı hizmetine kaydolmanız gerekir. Verisign, Neustar, CloudFlare ve Prolexic, basit web proxy'den (bazı sağlayıcılardan bile arınmış olabilir), isteğe bağlı filtrelemeye dayalı DNS'ye ve tam BGP'ye kadar çeşitli saldırı türleri için çeşitli planlara sahip satıcılardır. tüm trafiğinizi saldırıları azaltan kurallarla "ovalayarak" veri merkezleriyle gönderen temelli mevcudiyet dalgalanmaları.

Ancak, söylediğinizden, İnternet'teki herhangi bir IP'nin 80 numaralı bağlantı noktasını dinleyip dinlemediğini göreceği normal güvenlik açığı komut dosyalarını gördüğünüz anlaşılıyor. Kelimenin tam anlamıyla yeni bir makine kurabilir, boş bir Apache başlatabilir, ve birkaç saat içinde erişim satırında bu satırları görmeye başlayacaksınız.

Bu aslında bir saldırı değil, bir tarama veya prob.

Tarayıcıya / sondaya bağlı olarak, iyi huylu olabilir, yani sadece bir tür araştırma kapasitesindeki sorunları arar veya bir açıklık bulursa otomatik olarak saldırmak için bir işlevi olabilir.

Web tarayıcıları geçerli yönlendiren bilgileri koyar, ancak diğer programlar istedikleri yönlendireni telafi edebilir.

Yönlendiren, web sitenize erişen programlar tarafından isteğe bağlı olarak sağlanan bir bilgi parçasıdır. totally.meVeya olarak ayarlamak için seçtikleri herhangi bir şey olabilir random.yu. Hatta yeni seçtikleri gerçek bir web sitesi bile olabilir.

Bunu gerçekten düzeltemez veya engelleyemezsiniz. Bu türden her isteği engellemeye çalıştıysanız, çok büyük bir liste tutmak zorunda kalırsınız ve buna değmez.

Ana makineniz yamalara ve güvenlik açıklarını engellemeye devam ettiği sürece, bu size gerçek sorunlara neden olmamalıdır.

Gerçekten de bot çılgınlığı gibi geliyor. Büyük olasılıkla OP sitesine bilinmeyen birçok ana bilgisayardaki binlerce IP tarafından da dövülmüş durumdayız. Bazı yararlı çözümler sunmadan önce, sahip olduğum bir soru:

S: Google web yöneticisi araçlarında sitenizdeki 404'leri bir bütün olarak nasıl görüyorsunuz? GWT, diğer botların çıktısı değil, Googlebot bulgularının çıktısıdır. Ayrıca, bu diğer botlar analitik için JS çalıştırmıyor ... GWT'ye giden ve sunucu istatistiklerinizi görebileceğiniz bir tür API şeyiniz var mı? Değilse, bu, googlebot'un kendisi hata bulması nedeniyle alarm için neden olabilir.

• Bu SADECE googlebot hataları ise, bu birileri forumlarda sitenize bağlantılar ve kötü niyetli gerçek-insan-pc botlar isabet hedefleri için şeyler diktiğini gösterebilir. Sömürücü + sömürücü bazı sömürülen sunucu üzerinde çalışan düşünmek, gelecekteki "spam sözleşmeleri" portal için bir ton hedefler kurmak.

• Gerçekten de tam sunucu istatistiklerinizi rapor ettiğini biliyorsanız, bazı araçlara ihtiyacınız vardır. Birkaç uygulama ve hizmet, onu kısmanıza yardımcı olabilir. Linux sunucusu çalıştırdığınızı varsayarsak:

1) Bir htaccess kara listesine rahatsız edici IP'ler eklemeye başlayın. "192.168.1.1 'den inkar" gibi görünüyor ve 403 onları yasaklayacak. Taşınmayın, sadece biggenleri engelleyin. Gerçek insanlar ISS'leri olmadığından emin olmak için 4. adımdaki sitelere karşı kontrol edin. Bu dosyayı kopyalayabilir ve hatta güvenlik duvarının ötesindeki herhangi bir hesaba / uygulamaya yapıştırabilirsiniz.

2) APF'yi yükleyin. Linux'ta SSH üzerinden güvenlik duvarını yönetmek gerçekten kolay. Ht oluştururken, "apf -d 192.168.1.1" gibi APF içine ekleyin. Ht, APF nedeniyle gereksiz görünüyor, ancak Ht taşınabilir.

3) cPanel Hulk'u kurun ve bir IP'yi unutursanız, IP'lerinizi beyaz listeye aldığınızdan emin olun. Bu, ht + apf'ye eklemek için iyi bir IP kaynağı olacaktır. Bazı zekâları vardır, böylece kaba kuvvet giriş denemelerini akıllıca azaltabilir.

4) stopforumspam.com ve projecthoneypot.org ile bağlantı kurun ve modüllerini çalıştırın. Her ikisi de bilinen istekleri reddetmek ve yeni kaba / ağ / chinaspam bildirmek için çok yardımcı olur. Kullanabileceğiniz e-posta filtreleri de var, ancak spam filtresi söz konusu olduğunda gmail buna sahip.

5) Botlar asla vazgeçmediği için yönetici yollarınızı koruyun. Wordpress çalıştırırsanız, yönetici yolunu değiştirin, captcha vb. Ekleyin. SSH kullanıyorsanız, oturum açma bağlantı noktasını kullanılmayan bir şeye değiştirin, ardından SSH kök oturumunu kapatın. Bir "radmin" oluşturun, önce root, sonra su için giriş yapmalısınız.

• Captcha hakkında bir not, yüksek hacimli bir sitede kendi captcha'nızı çalıştırırsanız ve güvenlik duvarı / ht düzeyinde bot çılgınlığını inkar etmezseniz, tüm bu "antispam" widget'larındaki görüntü oluşturma nedeniyle cpu döngülerinizi çekiçliyor olabilirler.

• Yüklemeyle ilgili bir not, eğer sunucunuzda CentOS çalıştırırsanız ve VPS yetenekleriniz varsa, CloudLinux sertleştirme ve yük kontrolü için harikadır. Bir botun geçtiğini varsayalım, CageFS bunu bir hesapla sınırlamak için var. Diyelim ki DDoS'a karar verdiler .... LVE, sunucunuzun çökmemesi için hesap (site) yükünün sınırlı kalmasını sağlar. Onun "aksan varlık yönetimi" tüm sistemi vurgulamak için iyi bir ekleme :)

Sadece bazı düşünceler, umarım bu sana yardımcı olur

Sorunun açıklaması

Her şeyden önce bu sorunu yaşayan tek kişi sen değilsin - herkes. Gördüğünüz her IP'yi tarayan ve yaygın güvenlik açıkları arayan otomatik robotların bir sonucudur. Bu yüzden temelde ne kullandığınızı bulmaya çalışırlar ve phpmyadmin kullanırsanız daha sonra bir dizi standart kullanıcı adı şifre kombinasyonu denemeye çalışırlar.

Şimdilik bulduğunuz bu tür şeylere şaşırdım (sunucunuzu yeni başlatmış olabilirsiniz). Sorun, IP adreslerini sonsuza kadar engelleyememenizdir (büyük olasılıkla bu bilgisayar bulaşmış ve gerçek kullanıcı ne yaptığını bilmiyor, ayrıca bu tür IP'lerin birçoğu var).

SEO etkisi

Hiçbir etkisi yoktur. Bu sadece birisinin bilgisayarınızdaki bir şeye erişmeye çalıştığı ve orada olmadığı anlamına gelir

Gerçekten önemli mi?

Tabii, bu insanlar bazı problemler için seni araştırmaya çalışıyorlar. Dahası, kaynaklarınızı israf ediyorlar (sunucunuzun bir şekilde tepki vermesi gerekiyor) ve günlük dosyanızı kirletiyorlar

Bunu nasıl düzeltmeliyim

Düzeltmeye çalıştım aynı sorun vardı ve en iyi araç (onunla ne yapabilirim vs kullanmak için basitlik) bulabildiğim fail2ban olduğunu

Ayrıca yeterince şanslısınız çünkü aynı sorunu düzeltmenin bir yolunu buldum ve hatta burada belgeledim (bu yüzden nasıl kurulacağını ve nasıl çalışacağını bulmanıza gerek yok). ServerFault ile ilgili sorumu kontrol edin . Ama ho çalıştığını bilmek için lütfen fail2ban hakkında biraz okuyun.

Birçoğunun söylediği gibi, bu bir saldırı değil, site uygulamanızı ve / veya sunucu yeteneklerinizi araştırmak veya taramaktır. Tüm bu gereksiz trafiği ve potansiyel olarak tehlikeli taramaları filtrelemenin en iyi yolu bir WAF (Web Uygulaması Güvenlik Duvarı) uygulamaktır. Bu, tüm farklı girişimleri yakalar ve işaretler ve yalnızca sunucularınıza ve web uygulamanıza gerçek yasal temiz trafik gönderir.

Bulut tabanlı DNS WAF veya özel cihazlar kullanabilirsiniz. Şahsen farklı müşteri siteleri için Incapsula ve F5 ASM kullanıyorum. Maliyetler aylık 500 $ kadar düşük ve muazzam bir şekilde yardımcı olur. Ayrıca, müşterilerinize daha iyi koruma sağlar ve web sunucularındaki kaynakları azaltır, bu da size para kazandıracak ve hızı artıracaktır, ayrıca bu cihazlar PCI 6.6 uyumluluğu ve raporlarla incelemeler sunar.

Bu yardımcı olur umarım.