URL'leri engellemek için robots.txt dosyasında regex kullanabilir miyiz?

Birkaç dinamik olarak üretilen URL’ler var.

Bu URL'leri bir robots.txt dosyasında engellemek için regex kullanabilir miyim?

robots.txt regular-expression

— Sudheera Njs
kaynak

Ayrıca taranmasını / dizine eklenmesini istemediğiniz sayfalarda robot meta etiketlerini ayarlamaya değecektir .

— Andrew Lott

@AndrewLott Benim durumumda 500 sayfadan fazla sayfam var, bu yüzden robots.txt

— dosyasında

O zaman site kodunuzdaki bir kural muhtemelen daha yararlıdır.

— Andrew Lott,

Normal İfadeler robots.txt dosyasında geçerli değildir, ancak Google, Bing ve diğer bazı botlar bazı model eşleşmelerini tanır.

URL’de exampleherhangi bir yere sahip tüm URL’leri engellemek istiyorsanız, joker karakter girişini kullanabilirsiniz *

User-agent: *
Disallow: /*example

URL'lerin bu şekilde bitmesi gerektiğini belirtmek için $ işaretini de kullanabilirsiniz. Öyleyse, bitecek tüm URL'leri engellemek istiyorsanız example, ancak URL’de examplebaşka bir yerde bulunan URL’leri kullanmak istemiyorsanız:

User-agent: *
Disallow: /*example$

Google için daha ayrıntılı bilgi burada bulunabilir: Robots.txt Teknik Özellikler , burada Bing: Bir Robots.txt dosyası nasıl oluşturulur ve burada Moz hakkında etkileşimli bir kılavuz var

— maksimum
kaynak

Mükemmel, * iyi çalışıyor, web ana aracında test edildi .. Thanks Max ... :)

— Sudheera Njs

Robots.txt dosyanızda çok süslü yönergeler kullanmaktan dikkatli olun; bunlar daha sonradan hata ayıklamak gerçekten çok zor. İşleri olabildiğince basit tutmaya çalışın. Ayrıca robots.txt'nin büyük / küçük harfe duyarlı olduğunu unutmayın, bu nedenle sitenize bağlı olarak yönergelerin alternatif sürümlerini eklemeniz gerekebilir.

— John Mueller

regex desteklenseydi güzel olurdu

— SuperUberDuper