1 URL'leri engellemek için robots.txt dosyasında regex kullanabilir miyiz? Birkaç dinamik olarak üretilen URL’ler var. Bu URL'leri bir robots.txt dosyasında engellemek için regex kullanabilir miyim? 23 robots.txt regular-expression