Günlüklerim genellikle Doğu Avrupa ve Çin'den gelen bot ziyaretçileriyle dolu. Botlar Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou vb. Bu botları sitemden engellemeli miyim ve neden?
Hangilerinin siteme gelen trafiği artırmak için meşru bir amacı var? Birçoğu SEO.
Botların çok sayıda gelmesinden bu yana daha az trafik gördüğümü söylemeliyim .
Bunları engellemek çok zor olmaz, çünkü Kullanıcı Aracılarında bot olduklarını itiraf ederler.
Yanıtlar:
Botları engelleyebilirsiniz, ancak web siteniz için ne istediğinize bağlıdır.
Web sitenizin belirli bir arama motorunda dizine eklenmesini istemiyorsanız arama motoru botlarını engelleyebilirsiniz.
Örnek: Yandex rusça arama motorudur. İşletmeniz Rusya'yı hedeflemiyorsa botunu engelleyebilirsiniz.
Web analizi çözümlerini kullanmak istemiyorsanız SEO botlarını engelleyebilirsiniz.
Örnek: Ahrefs web analizi çözümüdür. Bu web analizi çözümünü kullanmazsanız botunu engelleyebilirsiniz.
Botları engelleme nedeni:
Botları engellememenin nedeni:
Robotstxt.org ile ilgili SSS bölümünü okuyarak botlar hakkında daha fazla bilgi edinebilirsiniz .
Engellenecek birkaç robot belirlemek istiyorsanız, bu web sitesinden ilham alabilirsiniz robots.txt .
Dikkatli olun, bazı botlar robots.txt'yi görmezden gelebilir , daha fazla bilgi burada .
Sonuç : İnternet robotlarında engellemenin yararlı olup olmadığını belirlemek için arama yapabilirsiniz.
Botları engellemeye çalışırken, kaynakları boşaltmanıza ve günlüklerinizi temizlemenize yardımcı olabilirken, robots.txt dosyasının ve hatta noindex sayfalarında meta etiketi kullanmanın botların sitenizi ziyaret etmesini gerçekten durdurmadığını unutmayın. Robotlardan reddedilenlerin kaldırılıp kaldırılmadığını görmek için zaman zaman sitenizi tarayabilirler. Çoğu bot bir kullanıcı aracısı kullanmaz ve standart bir kullanıcı aracısı kullanır. Bahsettiğim botlar, arama motorlarından bulduğunuz genel olanlar değil, genellikle geri bağlantı taraması yapan SEO hasat botlarıdır.
Botları bloke etmek yerine, ziyaretçilerinizi sayarken bu botları hesaba katmalısınız, bir süre sonra sitenizi aktif bir şekilde izledikten sonra botlar olan kaba bir figür oluşturun. Çoğu insan benzersiz ziyaretleri önemser ve sürekli geri döndüklerinden bu botları dışlar. Bu gün ve yaşta sunucuları bol, bu barındıran paylaşılan barındıran barındıran çok dizinli istemediğiniz sayfalar dışında ben neden bu tür botlar engellemek için bir neden görmüyorum. Tabii ki zararlı botlarınız da var ama bunlar kesinlikle kullanıcı aracısı kullanmayacak;).
Şahsen ben bu kadar çok kaynak kullanmadığından robotları engellemenin zaman kaybı olduğuna inanıyorum, SEO robotları sitenizi PR0 sayfalarında listeledikçe yardımcı olabilirler ki bu da PageRank'inizi arttırır ve otomatiktir, böylece cezalandırılmayacaksınız onlar tarafından.
Günlükler Sorunu
Belirli istekleri filtrelemenize olanak tanıyan uygun bir günlük görüntüleyici kullanmalısınız; bu, günlüklerinizi incelerken daha kolay hale getirir. İyi görüntüleyenler normal ziyaretler, 404'ler vb. Birçok şeyi filtreleyebilir.