Robots.txt dosyasındaki “Noindex:” nasıl çalışır?


10

Ben karşılaştım bu makalede bugün SEO haber. Görünüşe göre robots.txt dosyasındakiNoindex: standart Disallow:direktiflere ek olarak direktifleri de kullanabilirsiniz .

Disallow: /page-one.html
Noindex: /page-two.html

Arama motorlarının birinci sayfayı taramasını ve ikinci sayfayı dizine eklemelerini önleyecek gibi görünüyor.

Bu robots.txt yönergesi Google ve diğer arama motorları tarafından destekleniyor mu? Çalışıyor mu? Belgelenmiş mi?


Bilmiyorum ... bu bu bazıları için çok yararlı olabilir. Ayrıca, site haritasının daha iletişimsel olacak şekilde genişlediğini görmek istiyorum. Robotlar ve site haritaları arasında bu, arama motorlarına ve bir site hakkında başkalarına iletişim kurmak için altın bir fırsat olmalıdır. Ben de doğrudan bir Google site inceleme ile konuşma şansı var gibi hakkında sayfa gibi arama kullanılabilir olmaktan farklı bir şekilde arama motorları site hakkında bilgilendirmek için metin tabanlı bir fırsat lehine. Bazı kalp ağrılarını ve yanlış anlamaları kurtarabilir. Ooopppsss söylemek için bir şans, ben aptal- Üzgünüm.
closetnoc

disallowGoogle'ın varsa üst ve alt sayfalardaki bağlantıları keşfetmesini engelleyen bir izlenim altındayım . İken noindexbasitçe listelenmesini sayfasını durdurur disallow yapar iken, bu keşif durmaz.
Simon Hayter

@SimonHayter nofollowMeta etiketler için nasıl çalıştığını biliyorum . Bunun robots.txt için de geçerli olup olmadığını bilmek güzel olurdu .
Stephen Ostermiller

Hey @StephenOstermiller sadece meta etiketler değil, aynı şey için <a rel="no-follow">de geçerlidir. Farklı muamele görmesi için hiçbir neden göremiyorum. Açıkçası bu resmi değil ve hatta John Muller tarafından robots.txt'de kullanmamaları için tavsiye edilmiyor, ancak onun tweet'i dışında bu konuda fazla bilgi bulamadım.
Simon Hayter

Google'ın artık dosyalar Noindexiçindeki yönergeyi robots.txtbir hata olarak işaretlemediğini belirtmek gerekir .
Aran

Yanıtlar:


9

Google Noindex, robots.txt dosyasındaki bir yönergeyi gayri resmi olarak destekliyordu , ancak 2019'da direktifin artık çalışmayacağını açıkladılar .

İşte Google'ın nedir John Mueller hakkında söylediği Noindex:de robots.txt :

Deneysel bir özellik olarak robots.txt dosyasındaki dizinsiz yönerge desteklenirdi. Ama bu güvenemeyeceğim bir şey. Ve diğer arama motorlarının bunu hiç kullandığını sanmıyorum.

Google, özelliğin kullanımdan kaldırıldığını duyurmadan önce, deepcrawl.com özelliğin bazı testlerini yaptı ve şunları keşfetti:

  • 2019'dan önce hala Google ile çalıştı
  • URL'lerin arama dizininde görünmesini engelledi
  • Robots.txt dosyasında dizine eklenmemiş URL'ler Google Arama Konsolu'nda böyle işaretlendi

Google'ın özelliği durdurduğu göz önüne alındığında, artık kullanılmamalıdır.

Bunun yerine, dizine eklemeyi önlemek için iyi desteklenen ve belgelenen robot meta etiketlerini kullanın :

<meta name="robots" content="noindex" />
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.