Ben karşılaştım bu makalede bugün SEO haber. Görünüşe göre robots.txt dosyasındakiNoindex: standart Disallow:direktiflere ek olarak direktifleri de kullanabilirsiniz .
Disallow: /page-one.html
Noindex: /page-two.html
Arama motorlarının birinci sayfayı taramasını ve ikinci sayfayı dizine eklemelerini önleyecek gibi görünüyor.
Bu robots.txt yönergesi Google ve diğer arama motorları tarafından destekleniyor mu? Çalışıyor mu? Belgelenmiş mi?
disallowGoogle'ın varsa üst ve alt sayfalardaki bağlantıları keşfetmesini engelleyen bir izlenim altındayım . İken noindexbasitçe listelenmesini sayfasını durdurur disallow yapar iken, bu keşif durmaz.
nofollowMeta etiketler için nasıl çalıştığını biliyorum . Bunun robots.txt için de geçerli olup olmadığını bilmek güzel olurdu .
<a rel="no-follow">de geçerlidir. Farklı muamele görmesi için hiçbir neden göremiyorum. Açıkçası bu resmi değil ve hatta John Muller tarafından robots.txt'de kullanmamaları için tavsiye edilmiyor, ancak onun tweet'i dışında bu konuda fazla bilgi bulamadım.
Noindexiçindeki yönergeyi robots.txtbir hata olarak işaretlemediğini belirtmek gerekir .