XML site haritalarının Google arama sonuçlarında görünmesini engelleyin

23

XML site haritası dosyalarımın bir site:arama sorgusunun sonucu gibi Google arama sonuçlarında görünmesini nasıl önlerim:

arama sonuçlarında site haritası

Google’ın neden site haritası dosyalarını başlangıçta arama sonuçlarında göstermeyi tercih ettiğini anlamıyorum. Bu dosyalar insan tüketimi için değildir.

Google'ın işleyebilmesi için tarayabilmesi gerekiyor, bu yüzden robots.txt dosyasına izin veremem . Sadece işledikten sonra arama sonuçlarına koymalarını istemiyorum.

— Stephen Ostermiller
kaynak

1

Huh. İlginç. Tek düşündüğüm, sitenizde bir bağlantınız varsa veya site haritası dosyanızda görünüyorsa. Ayrıca, eğer bir faktör olabilirse, robots.txt dosyanızda buna başvurup başvurmadığınızdan emin değilim. Öyle düşünmem, sadece dikkate alınması gereken bir şey. Site haritamı yalnızca Google WMT aracılığıyla sağlıyorum ve bu sorunu daha önce görmedim - en azından henüz. Site haritanızı genel olarak istemediğinizi anlayabiliyorum. Ben halkı istemiyorum. Dışarıda çok fazla bilgisayar korsanı / kazıyıcı var.

— closetnoc

3

Bu özel sitesinde ben var /sitemap.xmllistelenen robots.txt diğer site haritaları farklı bir dizi bağlantılar sevdiğini ve sonra /sitemap-123.xmlve /sitemap-124.xml. Site haritalarını her gün yeniden oluşturuyorum ve sayıları her gün değişiyor. Endekslenen oldukça eski bir tanesidir. Sitemde hiçbir yere link vermiyorum, ancak başka bir sitenin de bir yere link vermesi mümkün.

— Stephen Ostermiller

1

Kullanılmazsa, silindiğinden emin olun, sonra robots.txt dosyanızda hariç tutun ve SERP'lerden oldukça hızlı bir şekilde düşecektir. İşin garibi, Google WMT'deki URL kaldırma işi sonsuza kadar sürüyor (benim için aylar), robots.txt oldukça hızlı.

— closetnoc

1

Gönderdiğiniz mü XML site haritası sizin GWMT hesabına?

— Oleg

3

Site haritası dosyası bugüne kadar hala vardı. Kaldırdım ve şimdi /sitemap.xml bu özel site haritasının artık dizinin dışına çıkacağını farz ediyorum. Gelecekte Google’ın da onları arama kullanıcılarına göstermesini engellemek istiyorum.

— Stephen Ostermiller

18

Google, XML site haritalarını dizine ekler (herhangi bir XML dosyası gibi). Google bir URL’nin farkındaysa ve geçerli bir yanıt veriyorsa, Google’ın dahil etme kurallarını geçecek ve endekslenebilir. Şahsen, site haritasını yalnızca GWT üzerinden gönderiyorum ve Sitemap:robots.txt dosyasına bir referans ekliyorum ve bu kesinlikle dizine eklenmesi için yeterli.

Bu dosyaların Google tarafından endekslenmesini önlemek için önerilen yöntem X-Robots-Tag, XML site haritasını sunarken bir HTTP yanıt başlığı eklemektir . Örneğin:

X-Robots-Tag: noindex

HTML dosyalarına bir robot META etiketi eklemek gibi, X-Robots-Tagbaşlık da her tür dosya için kullanılabilir.

Referans: Bu belge (Kasım 2008'den itibaren) , XML site haritalarıyla çalışırken yanıtın kullanımıyla ilgili kendi John Mueller'imizden (Google) alıntı yapıyor gibi görünmektedir X-Robots-Tag.
Evet, Google XML Site Haritası Dosyanızı Dizinlendiriyor ve Sıralıyor

Daha fazla bilgi için Google’ın geliştirici kılavuzuna bakın:
Robots meta etiketi ve X-Robots-Tag HTTP başlık özellikleri

— Bay Beyaz
kaynak

X-Robots-Tag: noindexBaşlık kodunu nereye yazmalıyım ? İçinde sitemap.xmlya robots.txt?

— xameeramir

1

@student Bir HTTP yanıt başlığıdır, bu yüzden bu dosyalara sunulmadan önce ayarlanmalıdır (HTTP yanıt başlığının bir parçası olarak) - "içlerine" ayarlanamaz. Bu dosyaları nasıl sunduğunuza bağlı olarak, bunu sunucu tarafı kodunuzda (örn. PHP'de header('X-Robots-Tag: noindex',true)) veya Apache kullanıyorsanız, .htaccess dosyanızda veya sunucu yapılandırmanızda ayarlayabilirsiniz . Örnek kod için Stephen'ın cevabına bakınız . Ayrıca Google’ın yukarıda belirtilen bağlantı geliştirici rehberine de bakınız.

— MrWhite,

8

MrWhite'ın X-Robots-Tag'i kullanma konusundaki cevabı bunu yapmanın doğru yolu gibi görünüyor.

Bunu yapmak için .htaccess veya Apache yapılandırma dosyalarında kullanılabilecek kod aşağıdadır . (Referans: WebmasterWorld - SERP’de gösterilen Site Haritaları - Nasıl engellenir? )

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

Nginx altında konfigürasyon aşağıdaki gibi olacaktır. (Referans: Yoast X-Robots-Tag örnekleri )

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}

— Stephen Ostermiller
kaynak

2

Neden fark eder?

Site haritanızı SERP'de bulabilirseniz, daha büyük sorunlarınız olur.

Bunun yerine yararlı içerikli sayfalar oluşturmaya odaklanacağım Bu şekilde, sizi site haritası bulmakta bile zorlanacaksınız. Zaten bu noktada umursayacaksın değil.

PS

Hemen hemen her biri site haritalarını aynı yerde tutuyor. Yani birileri nerede tuttuğunuzu bulmak isterse :)

— dasickle
kaynak

4

Google’ı site araması için kullanırım ve kullanırken bir site haritasına rastladım. Tıklarsanız kullanıcılar için çok kafa karıştırıcı olurdu.

— Stephen Ostermiller

Kullanıcılarınızın kaçının Google’ı site araması için kullandığını düşünüyorsunuz?

— dasickle

3

Arama terimlerimi sayfalarımın en üstündeki arama kutusuna yazan tüm kullanıcılar.

— Stephen Ostermiller

Bu durumda. Site aramanız için swiftype.com gibi bir şey kullanmayı düşündünüz mü ? Kullanabileceğiniz başkaları da var. Sonuçları yeniden sipariş edebilir, kaldırabilir ve ekleyebilirsiniz. Ayrıca harika istatistikler ve daha fazlası elde edersiniz

— dasickle

-6

aşağıdakileri robots.txt dosyasına yerleştirin

User-agent: *
Disallow: /sitemap.xml

bunun yerine site haritanızı google web yöneticisi araçlarıyla gönderin.

— konghou
kaynak

1

Lütfen mantığınızı netleştirebilir misiniz - ilk cümleniz sonuncunuzla çakışıyor mu?

— MrWhite

5

Google, robots.txt dosyasında engellenen bir site haritasını yine de tarayacak mı? İddiayı destekleyecek bir referansınız var mı?

— Stephen Ostermiller

4

Sitemap.xml dosyasına izin vermezseniz, artık taranmayacağından eminim. Olmak istediğin bir şey değil!

— Maksimum

2

Google, hiçbir dokümanı robots.txt’ye izin verilmeyen olarak tarayamaz. Normalde değil, zaten ... site haritaları dahil.