Neden baidu sitemi çılgın gibi tarar?

12

Apache günlüğümü kontrol ederken baidu'nun son 2 hafta boyunca günde 10 kez web sitemi taradığını görebiliyorum.

Bunu çok önemsediğimden değil, ama neden bunu yaptığını gerçekten merak ediyorum. Çok küçük gelen bir web sitesi.

Bunun arkasında herhangi bir sebep var mı?

220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)"
123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:13:34:03 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:14:12:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [10/Mar/2012:14:23:41 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:14:23:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.94 [10/Mar/2012:15:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.183 [10/Mar/2012:15:26:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.92 [10/Mar/2012:17:45:55 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.71 [10/Mar/2012:17:45:57 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.79 [10/Mar/2012:17:46:04 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.103 [10/Mar/2012:17:47:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.179 [10/Mar/2012:17:48:37 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.108 [10/Mar/2012:18:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.185 [10/Mar/2012:18:38:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.96 [10/Mar/2012:19:25:50 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:19:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.101 [10/Mar/2012:20:25:51 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:20:26:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [10/Mar/2012:21:33:38 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [10/Mar/2012:21:34:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.170 [10/Mar/2012:21:57:39 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.98 [10/Mar/2012:22:26:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [10/Mar/2012:22:26:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.104 [10/Mar/2012:23:34:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:23:34:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.110 [11/Mar/2012:00:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:00:34:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.103 [11/Mar/2012:02:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.177 [11/Mar/2012:02:37:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:03:34:30 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [11/Mar/2012:03:35:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [11/Mar/2012:04:35:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [11/Mar/2012:04:36:16 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.115 [11/Mar/2012:05:34:31 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:05:35:12 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:06:24:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.181 [11/Mar/2012:06:24:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.112 [11/Mar/2012:07:40:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:07:41:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.95 [11/Mar/2012:08:29:42 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [11/Mar/2012:08:30:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [11/Mar/2012:09:35:23 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:09:36:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.106 [11/Mar/2012:10:39:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.165 [11/Mar/2012:10:40:11 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [11/Mar/2012:11:23:57 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
seo  web-crawlers  baidu 
— yokoloko
kaynak
Baidu.com'dan herhangi bir organik trafik alıyor musunuz? Hayır ise, bant genişliğinizi böyle yiyorsa örümcek bloke olur.
— Anagio
Organik trafikle ne demek istediğinizden emin değilim, ama baidu arama motorunu kullanan kullanıcılardan kastediyorsanız, cevap hayır. Çok fazla bant genişliği veya kaynak kullanmıyor. Baidu'nun neden bu kadar taradığını merak ediyorum.
— yokoloko
1
Evet demek istediğim bu. Çok fazla bant genişliği almıyorsa, devam etmedikçe endişelenmezdim. Onlara her zaman e-posta gönderebilirsin. "Baiduspider'dan mantıksız erişim bulursanız, lütfen spiderhelp@baidu.com adresinden bizi bilgilendirin"
— Anagio
1
Eğer ben sadece bir arama motoru örümcek engellemek istiyorum asla değil, sırf onlardan herhangi bir arama trafiği almasını istediğiniz anda özellikle Baidu pazar açısından dünyada 3. büyük arama motoru olduğunu düşünen - Herhangi almazlar Paylaş.
— Lèse majesté
3
Baidu, sitenizin dizine eklenmesini sağlayana kadar çok agresif. Baidu olduğunu iddia eden kazıyıcılar var, onları tanımlamak ve işler kontrolden çıkınca yasaklamak için botsvsbrowsers.com kullanıyorum . Yandex de aynı tür trafik üretebilir.
— Fiasco Labs

Yanıtlar:

7

Çok fazla endişelenmeniz gereken bir şey gibi görünmüyor, google bazı sitelerimi benzer bir şekilde tarar, ancak sahte bir bot olabilir, bu yüzden aşağıdaki bağlantılara göz atın ...

Baidu Örümcek SSS (Krom çeviride oluşturuldu) bu söylemek zorunda: -

4. Baiduspider neden sitemi sürekli tarar? En son bilgilerin sunulduğundan emin olmak için Baiduspider, sitenizde sık sık yenilenen yeni sayfaları veya sayfaları tarar. Baiduspider'dan taramanın makul olup olmadığını görmek için lütfen günlüğü kontrol edin.

Spam gönderenlerin veya Baiduspider gibi davranan diğer sorunlu üreticilerin aşırı taramasını önlemek için günlüğü kontrol edebilirsiniz. Herhangi bir anormal tarama bulduğunuzda, lütfen spiderhelp@baidu.com adresinden bizi bilgilendirin ve Baiduspider günlüğünü sağlayın.

Baidu, web yöneticisi araçlarının kendi sürümünü sunuyor (araçlara erişirken kromun çeviri işlevi gerekli olacak) belki de bunlara kaydolmak bazı cevaplar verebilir. Google WMT, tarama hızını yönetmek için sınırlı bir yetenek sunar, belki de araçları bazı benzer işlevler sunar.

— toomanyairmiles
kaynak
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.