Site haritasına her şeyi mi yoksa yalnızca yeni içeriği mi eklemeliyim?

Dinamik içeriğe sahip bir web sitesi için (sürekli yeni içerik eklenmektedir), yalnızca site haritasına en yeni içeriği eklemeli miyim yoksa her şeyi (bir site haritası dizini ile) eklemeli miyim? Site haritaları için en iyi uygulamalar nelerdir esp. büyük siteler için?

Ayrıca, Google'ın (ve diğer arama motorlarının) yalnızca site haritasındaki sayfaları taramasını sağlamak için yine de var mı?

Teşekkürler

Güncelleme:
Ayrıca, stackoverflow'un bunu nasıl ele aldığı hakkında bir fikriniz var mı? Bilmek istiyorum ama maalesef (ayrıca anlayışla ) kendi site haritasına erişimi engellediler.

seo sitemap

— Mee
kaynak

Site ne kadar büyük? Hem robots.txt hem de site haritası için bir boyut sınırı vardır. Şaşırtıcı bir şekilde, çoğu ikisini de aşıyor, bu yüzden soruyorum.

— Tim Post

@Tim, şimdilik çok büyük değil (her şey bir site haritasına sığabilir), ancak önceden plan yapmaya çalışıyorum.

— Mee

Tüm sayfaları dahil et. XML site haritasının amacı, arama motorlarına tüm içeriğinizi anlatmaktır. Sadece yeni şeyler değil.

Sitemaps.org web sitesinden (benimkini vurgulayın):

Site Haritaları, web yöneticilerinin arama motorlarını sitelerinde tarama için kullanılabilir sayfalar hakkında bilgilendirmesi için kolay bir yoldur .

Çok fazla içeriğiniz varsa, birden çok XML site haritası kullanabilirsiniz .

Taranmasını veya dizine eklenmesini istemediğiniz içeriğiniz varsa, özellikle arama motorlarına bu sayfaları taramamasını ve dizine eklememesini söylemeniz gerekir. Taranmasını istemediğiniz sayfaları veya dizinleri engellemek için bir robots.txt dosyası kullanın . Bunun için bir meta etiket de kullanabilirsiniz . Ancak, bir XML site haritasında listelenmemiş sayfaları taramamayı belirleyemezsiniz.

— John Conde
kaynak

Cevabınız için teşekkürler, site haritasına her şeyi ekleyeceğim.

— Mee

50 + k sayfayı işleyebilecek bir kütüphaneniz var mı?

Bir veritabanında bu 50.000'den fazla sayfa var mı?

— John Conde

Sitenizin her sayfasını bir site haritasına yerleştirmenize gerek yoktur. Bir site haritası, arama motorlarını tarama için kullanılabilir sayfalar hakkında bilgilendirmek için kullanışlıdır. Arama motoru taranabilir her sayfayı zaten görebiliyorsa ve "son değiştirilme tarihi" hakkında bilgi eklemiyorsanız, bir sayfaya sahip olmanızın sıfır nedeni vardır.

— Django Reinhardt

Bu cevap webmasters.stackexchange.com/a/5151/30596 ile biraz çelişkili görünüyor . Google'dan @John Mueller aktaran

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— kullanıcı