Google, sitemap.xml sayfamızdaki sayfaları dizine eklemeyi neden durdurdu?

18

sitemap.xmlGoogle'da bulunan ancak Google'ın genel arama dizininde açıklanamayan bazı sayfalar görüyoruz .

Https://superuser.com/sitemap.xml dosyasını indiremezsiniz - geçmişte sorunlar olduğu için bu dosyayı koruyoruz - ancak googlebot yapabilir. Google Web Yöneticisi Araçları aracılığıyla sitemap.xmldosyanın bugün kaldırıldığını ve hatasız olarak Tamam olarak derecelendirildiğini (yeşil onay işareti) doğruladık .

alternatif metin

sitemap.xmlİstendi sitemizde son 50.000 soruların bir listesini içerir. Örneğin, bu soru ...

/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links

... olarak var sitemap.xml...

<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

Aranıyor "Sembolik bağlantıları uzun zincirin sonunu görmeyi nasıl" questionhub.com verilerimizi (tamamen farklı bir sorun) kazıma olduğu için sadece bir sonuç verir.

Soru sayısı sayısını artırabilir ve soru başlığı için tam bir arama yapabilirsiniz ve bu kalıbın devam ettiğini göreceksiniz.

Bu url'ler vardır içinde sitemap.xml ancak Google'ın dizininde görünmüyor - ve henüz onlar bizim Creative Commons veri kazımak sitelerde görünür. Neden olsun ki?

google sitemap

— Michael Pryor
kaynak

5

Google web yöneticisi merkezi forumlarında her zaman soru sorabilirsiniz. google.com/support/forum/p/Webmasters?hl=tr

— Alex Black

Bir şeyler kesinlikle yanlış. BU soru zaten Google'da dizine eklenmiş, ancak STILL süper kullanıcısıyla ilgili bağlantılı soru dizinde görünmüyor.

— Michael Pryor

Jeff sadece Matt Cutts'e sormayı düşünebilir. Twitter'da birbirleriyle birkaç kez konuştuklarını gördüm. Genellikle yardım etmeye oldukça istekli.

— Virtuosi Media

3

FWIW Şu anda bazı sitelerde yeni içeriğin dizine eklenmesiyle ilgili bazı sorunlar görüyoruz. Bu konuda google.com/support/forum/p/Webmasters/… adresindeki Yardım Forumlarımızda bir konu var . Belirttiğiniz URL etkilenmiş gibi görünüyor. Bunun kısa bir süre içinde çözüleceğini düşünüyorum, ancak sabit bir zaman dilimine sahip değilim. Sabrınız için teşekkürler.

— John Mueller

1

Bu şimdi çözülmüş gibi görünüyor :-). Sitedeki yeni soruların birkaçını denedim ve hepsi dizine eklendi. Woot!

— John Mueller

10

Google, bu hafta bu sesi bazı teknik tarama sorunlarınız olduğu anlaşılıyor derece ne karşılaştığınız gibi:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

Hiç kimse, birçok site sahibinin şaşırttığı bir Google dizin oluşturma sorunundan muaf değildir. Büyük ve küçük bloglar ve web siteleri, normalde oldukları kadar hızlı dizine eklenmez - hiç dizine eklenmemişlerse.

...

Google'dan John, Web Yöneticisi forumlarındaki ileti dizisine şunları söyledi:

Daha açık olmak gerekirse, ayrıntılı olarak gözden geçirdiğim bu konudaki sorunlar, politikalarımızdaki değişikliklerden veya algoritmalarımızdaki değişikliklerden kaynaklanmıyor; tarafımızdaki en kısa sürede görünür bir şekilde çözülecek teknik bir sorundan kaynaklanmaktadır (yine de tüm siteler için görünür olması birkaç gün sürebilir)

— Jeff Atwood
kaynak

7

Google, bir site haritasındaki sayfaların dizine ekleneceği konusunda herhangi bir teklifte bulunmaz veya garanti vermez.

Deneyimlerim, bir sayfanın görünmesi için (bazı otoritelerin sayfasından) bağlanması gerektiğidir. Bu sayfa / soru, bir otoriteye sahip bir sayfadan doğrudan / dolaylı olarak bağlantılı mı?

Örneğin, superuser.com ana sayfası (muhtemelen birçok soru içeren) bu soruya doğrudan bağlıysa veya bir dizi başka sayfa aracılığıyla dolaylı olarak bağlıysa, dizine eklenmesini bekleyebilirsiniz.

Google'dan:

Google, tüm URL'lerinizi tarayacağımızı veya dizine ekleyeceğimizi garanti etmez. Bununla birlikte, Site Haritanızdaki verileri, sitenizin yapısı hakkında bilgi edinmek için kullanırız; bu, tarayıcı programımızı iyileştirmemize ve gelecekte sitenizi taramak için daha iyi bir iş yapmamıza olanak tanır. Çoğu durumda, web yöneticileri Site Haritası gönderilmesinden yararlanır ve hiçbir durumda bunun için cezalandırılmazsınız.

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184

— Alex Black
kaynak

4

Süper kullanıcının bu sayfaları site haritasıyla veya site haritası olmadan dizine ekleyebilmesi için yeterli bağlantıya ve PR'ye sahip olması gerekir. Ve küçük sayfalar her zaman listelenir. Aslında endeksin çoğunluğunu oluşturuyorlar. Sanırım başka bir şey suçlu.

— John Conde

Anlaşılan, sitede çok fazla PR ve mürekkep bağlantısı var. Ancak, söz konusu sayfanın mürekkep çizgisi içermemesi ihtimali var mı? Superuser.com (tesadüfen) sayfaya bağlantı vermezse, Google'a ne söyler? sayfanın önemli olmadığını söylüyor.

— Alex Black

2

Sayfa kesinlikle ön sayfadan bağlantılandırılmıştır ve bir dizi başka sayfadan bağlantılandırılmaya devam etmektedir. SE siteleri çok çapraz bağlantı ağırdır.

— Kevin Montrose

1

dün bir noktada bir test sorusu için yaptığım isabetlerden biri superuser.com ana sayfasıydı - hedef URL, Google önbelleğinde bile görünür! Yine de sorunun kendisi endekslenmedi. Çok tuhaf.

— Jeff Atwood

2

kesinlikle - ana sayfadaki SICAK sekmesine veya HAFTALIK veya AYLIK sekmesine tıklayın. Tam orada ..

— Jeff Atwood

3

Bence google, web sayfalarınızı dizine eklemede zorlanıyor olabilir, 50.000 çok. Benim önerim site haritanızı bu şekilde parçalara ayırmak

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

Eğer arızalanırsanız, bu 50.000 URL'nin dizine eklenmesi konusunda daha iyi şansınız olacaktır.

Sitemaps.org sorunun açıklaması

Birden çok Site Haritası dosyası sağlayabilirsiniz, ancak sağladığınız her bir Site Haritası dosyasının en fazla 50.000 URL'si olmalı ve 10 MB'tan (10,485,760 bayt) büyük olmamalıdır. İsterseniz, bant genişliği gereksiniminizi azaltmak için Site Haritası dosyalarınızı gzip kullanarak sıkıştırabilirsiniz; ancak sıkıştırılmamış site haritası dosyasının boyutu 10 MB'tan büyük olmamalıdır. 50.000'den fazla URL listelemek istiyorsanız, birden çok Site Haritası dosyası oluşturmanız gerekir.

Birden çok Site Haritası sağlarsanız, her bir Site Haritası dosyasını bir Site Haritası dizin dosyasında listelemeniz gerekir. Site Haritası dizin dosyaları 50.000'den fazla Site Haritası listeleyemez ve 10 MB'tan (10.485.760 bayt) büyük olmamalıdır ve sıkıştırılabilir. Birden fazla Site Haritası dizin dosyanız olabilir. Bir Site Haritası dizin dosyasının XML biçimi, bir Site Haritası dosyasının XML biçimine çok benzer.

http://sitemaps.org/protocol.php

— Şevki
kaynak

2

50.000 sayfalık site haritaları çok yaygındır. Aslında birisi yakın zamanda web yöneticisi hesaplarından Google'ın bu sayfaların neredeyse 50.000'ini dizine eklediğini gösteren bir ekran görüntüsü yayınladı. Ve süper kullanıcı diğer siteden daha popüler (örneğin daha iyi bağlantı popülaritesi vardır) şüpheli.

— John Conde

1

"Listelenecek 50.000'den fazla URL'niz var. Bir Site Haritasının içerebileceği maksimum sayı budur." sitemaps.blogspot.com/2005/08/using-sitemap-index-files.html

— Jeff Atwood

1

Gün bittikten sonra asla değişmeyen her gün için bir site haritanız varsa, site haritasının tekrar erişilmesi gerekmiyorsa, değişiklikler için zaten dizine eklendikleri bağlantıları tarayabilir, bu nedenle google yalak gitmek zorunda kalmaz Hangisinin eski ve hangisinin yeni olduğunu görmek için günde 50.000 url.

— Sevki

@sevki, ACTIVITY DATE (bu tarihte yeni cevaplar, düzenlemeler, vb.) tarafından en eski 50.001. soru site haritasında yer almayacak. Süper kullanıcının toplamda sadece 55 bin soru olduğunu unutmayın.

— Jeff Atwood

@Jeff ama SO.com 1.014.782 ve 964.782 bir site haritasında yok, bu yüzden google veya bing en son ne zaman değiştirildiklerini bilmiyor .. taramalarınızı artırmıyor. her neyse, sadece yardım etmeye çalışarak can sıkıcı olmak istemiyorum, size daha fazla ayrıntı içeren bir e-posta gönderdim.

— Sevki

2

Google'ın 46514 gönderilen bağlantılar belirten anlaşılıyor olan endekste. Sayfa sıralamasında (söylemekten nefret ediyorum) bir sorun olabilir mi? Kazıma siteleri daha iyi bir iş çapraz bağlama vb yapıyor ve daha yüksek sırada olabilir. Sadece bir düşünce.

Bu arama sitesi: superuser.com sembolik bağlantıları uzun zincirin sonunu görmeyi ne kadar da beklenen sonuçları dönen değil olsa doğru siteharitasi.xml getirilirken gibi görünüyor.

— Dustin Senos
kaynak

Bu kazıma sitesi, superuser.com'a orijinal yazar olarak atıfta bulunur (ancak bu konuda daha açık olsa da), bu nedenle Google, içeriğin orijinal yazarı olduklarını bilmeli ve kazıma sitelerine öncelik vermelidir.

— John Conde

@john doğru, blog.stackoverflow.com/2010/08/defending-attribution-required adresinde belgelendiği gibi takip ile ilişkilendirmemiz gerekiyor

— Jeff Atwood

Bu önbelleğe alınmış site haritası "17 Ekim 2010 05:40:35 GMT'de göründüğü gibi", 4 gün önce bunu yazdığım zamandan beri, çok fazla yok. Bu önbelleğe alınmış sitemap.xml dosyasında birkaç URL'yi kontrol ettim ve Google'da da soru sayfaları olarak varlar.

— Jeff Atwood

@john, ilişkilendirmeyi nasıl verdiklerine bir örnek verebilir misiniz? Teşekkürler

— Greg B

@Greg, Sadece süper kullanıcı logosuna bakın

— John Conde

2

Bu tür bir şeyle birçok potansiyel cevap var.

Aslında kaç sayfanız olduğunu sorarak başlayacağım. (50.000 URL'ye hızlı bir site gönderdiniz: superuser.com 125.000 dizin oluşturdu, yalnızca 50 bin URL'niz olduğunu ve bunların tümünü gönderdiğinizin Google'ın her sayfanın 2-3 kopyasını bulduğunu mu düşünüyorsunuz? % indeksleniyor) büyük resmi almak sorunları nerede aramak için yönlendirmek yardımcı olur.

Birinci adımda hiçbir şey yanlış görünmüyorsa içeriğe geçirdim, QH'nin sayfasında çok daha fazla içeriğe sahip olduğu ve tüm içeriklerinin kazınmasına rağmen Google'ın kullanıcıya daha fazla kaynak / bilgi sağladıkları için Yetkili olarak kabul edilirler ve tüm içeriğiniz onlarınkiyle aynıysa, orijinal olsanız bile Google'ın sizinkini dizine eklememesi mümkündür.

Sorunun bu kadar yüksek kaliteli bağlantılar oluşturmadığına ikna olduysanız, bu soruyu bazı popüler çalışan bloglarında bloglayın veya bazı arkadaşlarınızdan bu konuda blog yazmasını isteyin, belki de popüler blogları çalıştıran SEO arkadaşlarınız varsa, bunun hakkında vaka çalışması vb.

Çok fazla güçlü bağlantı alırsanız ve hala dizine alınmıyorsa cezalandırılabilecek nedenleri arayın (çoğu durumda bu sorun olmaz, ancak asla kontrol etmek acımaz).

Bunların hiçbiri 10'dan 9 kez işe yaramazsa, gözden kaçırılan basit bir teknik sorun (robotlar hariç tutma veya benzer bir şey).

Bu işlemi geçtikten sonra hala bir yanıtınız yoksa Google'a sorun ve size bir yanıt vermelerini umuyoruz.

— Joshak
kaynak

0

Soru sadece dün soruldu - googlebot'a bir şans verin, İnternet'te sizi taraması gereken tek site değilsiniz :)

Sorular normalde bir gün içinde dizine eklenirse ve bir hafta geçerse ve hala dizine eklenmezse, endişelenebilirim. Ama kesinlikle 1 gün sonra değil.

— Eric Petroelje
kaynak

1

Genellikle bir saat içinde ortaya çıkarlar. Bu yüzden katılıyorum, zaman vermeliyim, ama normal frekansına göre ... Var.

— Michael Pryor

@michael, elmaları elmalarla karşılaştırdığınızdan emin olun - Google, stackoverflow.com'u diğer sitelerimizden çok daha yüksek bir oranda endeksliyor gibi görünüyor.

— Jeff Atwood