Sitenizi aşırı taradıklarını düşünüyorsanız (belki de daha derin içeriği bile kaçırmayın), HTTP başlıklarınızın 'son değiştirilmiş' zaman vb. Şeyler için iyi değerler döndürdüğünden emin olmalısınız. . Bonus olarak siteniz önbelleğe alma konusunda daha iyi davranacaktır (proxy veya tarayıcı tabanlı olsun) ve böylece biraz daha hızlı hissedeceksiniz.
Hangi URL'lerin tarandığını incelemek iyi olur (sunucu günlüklerinizi inceleyerek). Aynı URL'yi tekrar tekrar tararlarsa, kesinlikle bir sorununuz vardır. Bu konuda yaygın bir varyant, istek değişkenleri kullanılarak birçok farklı şekilde görüntülenebilen bir sayfanız varsa. Googlbot , bu değişkenlerin olası tüm kombinasyonlarını taramaya çalışabilir .
Tarama operatörü olarak karşılaştığım bir örnek, herhangi bir kombinasyonu genişletilebilen yirmi başlık listesi olan bir sayfaydı. Temel olarak, bu sayfada 2 ^ 20 farklı URL vardı!
Googlebot'un, temelde aynı sayfayı önemsiz derecede farklı parametrelerle tekrar tekrar taramadığına emin olun (bunun sıkıştığını gördüm)