Ben karşılaştım bu makalede bugün SEO haber. Görünüşe göre robots.txt dosyasındakiNoindex:
standart Disallow:
direktiflere ek olarak direktifleri de kullanabilirsiniz .
Disallow: /page-one.html
Noindex: /page-two.html
Arama motorlarının birinci sayfayı taramasını ve ikinci sayfayı dizine eklemelerini önleyecek gibi görünüyor.
Bu robots.txt yönergesi Google ve diğer arama motorları tarafından destekleniyor mu? Çalışıyor mu? Belgelenmiş mi?
disallow
Google'ın varsa üst ve alt sayfalardaki bağlantıları keşfetmesini engelleyen bir izlenim altındayım . İken noindex
basitçe listelenmesini sayfasını durdurur disallow yapar iken, bu keşif durmaz.
nofollow
Meta etiketler için nasıl çalıştığını biliyorum . Bunun robots.txt için de geçerli olup olmadığını bilmek güzel olurdu .
<a rel="no-follow">
de geçerlidir. Farklı muamele görmesi için hiçbir neden göremiyorum. Açıkçası bu resmi değil ve hatta John Muller tarafından robots.txt'de kullanmamaları için tavsiye edilmiyor, ancak onun tweet'i dışında bu konuda fazla bilgi bulamadım.
Noindex
içindeki yönergeyi robots.txt
bir hata olarak işaretlemediğini belirtmek gerekir .