Robots.txt ile dizinin tamamına nasıl izin vermezim?

Şu anda üzerinde çalıştığım bir alışveriş sepeti ve başka bir alışveriş yapan iki sitem var. Her ikisi de aynı alan adı altında olduğundan, örneğin

http://example.com/first_url 
http://example.com/second_url 

Her iki URL'nin altında tonlarca sayfa var

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Nasıl ana URL engelleyebilirim /first_urlve /second_urlçok ve tüm alt sayfaları ve alt dizinleri? Böyle bir şey düşünüyordum ama bunun işe yarayıp yaramadığını ve doğru sözdizimi olup olmadığını bilmiyorum

Disallow: /first_url/*/
Disallow: /second_url/*/

Bu dizinleri engellemek için eğik çizgiye ihtiyacınız yoktur. Bu çalışacak:

Disallow: /first_url/*
Disallow: /second_url/*

Bu Google yardım sayfası bunu oldukça iyi kapsamaktadır.

Bunu varsayılan olarak kullanabilirsiniz robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

Yıldız, bu kategorideki her şeye izin verilmemesini sağlayacaktır. Hatta belirli bir URL'yi yazarak o kategorideki belirli bir şeye izin vermeyebilirsiniz.