<head>Yıllardır sitelerimde aşağıdaki satırı kullanıyorum :
<meta name="revisit-after" content="3 days" />
Kısa süre önce Google'ın anladığı meta etiketlerden biri olmadığını keşfettim, bu da dahil etmenin bir anlamı olmadığını ve yıllardır hiç iyi olmadığını gösteriyor.
Arama motorları varsayılan olarak bir web sitesini ne sıklıkta tarar ve bu sıklığı artırmak veya azaltmak için hangi güvenilir yollar vardır?
Yanıtlar:
Google'ın sitenizi Google Web Yöneticisi Araçları'nda ne kadar hızlı tarayacağını kontrol edebilirsiniz .
Siteniz için tarama hızı, Googlebot tarafından sitenizi her ziyarette taramak için kullanılan süreyi belirler. Amacımız, sunucunuzun bant genişliği üzerinde belirgin bir etki yaratmadan sitenizi kapsamlı bir şekilde taramaktır (böylece sayfalarınız dizine eklenip arama sonuçlarında döndürülebilir!). Çoğu web yöneticisi varsayılan tarama ayarını kullanırsa (örn. Değişiklik gerekmez, aşağıda daha fazlası), bazı web yöneticilerinin daha özel ihtiyaçları olabilir.
Googlebot, ziyaret ettiği her sitenin ne kadar taranacağını belirleyen gelişmiş algoritmalar kullanır. Sitelerin büyük çoğunluğu için, varsayılan olarak "Google'ın tarama hızımı belirlemesine izin ver" seçeneğini belirtmek en iyisidir. Ancak, ileri düzey bir kullanıcıysanız veya sunucunuzda bant genişliği sorunlarıyla karşılaşıyorsanız, tarama hızınızı web sunucularınız için en uygun hıza göre özelleştirebilirsiniz. Özel tarama hızı seçeneği, Googlebot'un saniyede maksimum istek sayısına ve ortamınız için en iyi olduğunu düşündüğünüz istekler arasındaki saniye sayısına ilişkin fikir vermenizi sağlar.
Googlebot, Web Yöneticisi Araçları'nda kullanabileceğiniz tarama hızı değerlerinin aralığını belirler. Bu, sunucunuzun yeteneklerini anlamamıza dayanmaktadır. Bu aralık, çeşitli faktörlere bağlı olarak bir siteden diğerine ve zaman içinde değişebilir. Tarama hızını varsayılandan düşük bir değere ayarlamak, sitenizin Google'ın arama sonuçlarındaki kapsamını ve tazeliğini etkileyebilir. Ancak, varsayılandan daha yüksek bir değere ayarlamak kapsamınızı veya sıralamanızı iyileştirmez. Özel bir tarama hızı ayarlarsanız, yeni ücret 90 gün boyunca geçerli olur ve ardından Google'ın önerilen değerine sıfırlanır.
Bu ayarı yalnızca kök düzeyindeki siteler ve blogspot.com gibi büyük bir alanda barındırılmayan siteler için kullanabilirsiniz (bunlar için özel ayarlarımız vardır). Tarama hızı ayarını kontrol etmek için Web Yöneticisi Araçları'nda oturum açın ve Ayarlar sekmesine gidin. Başka sorularınız varsa, Google'ın sitenizi nasıl taradığı hakkında daha fazla bilgi edinmek veya sorularınızı Web Yöneticisi Yardım Forumu'na göndermek için Web Yöneticisi Yardım Merkezi'ni ziyaret edin.
Diğer sonra muhtemelen kendi kullanıcı ajanlarını kokluyor ve kendi kullanıcı aracısı dayalı arama motoru botları izin verir veya reddeder kendi filtreleme sistemi oluşturmak gerekir. Ancak bu sadece sıklıklarını azaltmayı etkileyecektir.
Sorunuzun ikinci bölümünü yanıtlamak için Google'a Web Yöneticisi Araçları'nı kullanarak söyleyebilirsiniz
Tarama hızını değiştirmek için:
Web Yöneticisi Araçları Ana sayfasında istediğiniz siteyi tıklayın.
Site yapılandırması altında Ayarlar'ı tıklayın.
Tarama hızı bölümünde, istediğiniz seçeneği belirtin.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
On Bing SSS bunun ifade eder bu yazı ayarlanmasını önerir Crawl-Delay: Xx her isteği arasında beklenecek saniye sayısıdır.
Elbette site haritaları sayfaların ne sıklıkta değiştiğini gösterir.