«web-crawlers» etiketlenmiş sorular

Bir siteyi yeni bir alana taşıyorum. Sitenin kendisi oldukça basittir (Jekyll kullanır) ve Disqus iş parçacıklarının göçü hariç her şey iyi gitti. Kısmen başarılı oldum - bazı iş parçacıkları başarıyla taşındı, ancak hepsi değil. Etki alanı taşıma sihirbazını (birkaç yakaladı), URL eşleştiricisini (birkaç yakaladı) ve 301 yönlendirme tarayıcısını (birkaç yakaladı) …

9 web-crawlers 

Ask.comSite haritama ping yapmak için arama motorlarından biri olarak kullanıyorum . Site haritanızı yeniden dizine eklemek için bugün site haritama ping atmaya gittiğimde, web sitesi ( http://submissions.ask.com/ping ) artık mevcut olmadığını söylüyor? Bir DNS araması yaptım ve alt alan adını kaldırmış submissions.ask.comgibi görünüyor Ask.com, ancak Web Sitesi Tarayıcısı SSS hala …

9 search-engines  sitemap  web-crawlers  ping 

Yasal nedenlerden dolayı otomatik olarak dizine eklenemeyen veya aranamayan bir sitem var. Bu, tüm robotları uzak tutmamız ve siteyi örümcek yapmasını önlememiz gerektiği anlamına gelir. Açıkçası baştan beri izin vermeyen bir robots.txt dosyasına sahibiz. Ancak, robots.txt dosyasını gözlemlemek yalnızca iyi davranan robotların yaptığı bir şeydir. Son zamanlarda, daha az iyi …

9 apache  web-crawlers  user-agent