Yanıtlar:
E-postaları toplayan veya sitenizi güvenlik açıklarına karşı test eden hiçbir bot robots.txt'nize saygı göstermez. Aslında, bu kötü niyetli botlar sitenizi daha iyi haritalamak için robots.txt dosyasına bakar. Herhangi bir puan varsa, Disallow:bu sitenize daha iyi saldırı için kullanılacaktır. Sitenize el ile bakan bir bilgisayar korsanı, izin vermemeye çalıştığınız dosyaları / dizinleri incelemek için fazladan zaman harcamalıdır.
robots.txt, web sitenizin güvenliğini artırmayacak veya e-posta adreslerinin toplanmasını engellemeyecektir. robots.txt, arama motorlarının web sitenizin bölümlerini atlaması için bir rehberdir. Bunlar dizine eklenmez ve herkese açık arama motorlarında gösterilmesini istemediğiniz bölümler için kullanılmalıdır.
Ancak bu, güvenliği artırmak veya e-posta toplamayı önlemek için hiçbir şekilde diğer botların sitenizin tamamını indirmesini engellemez. Güvenliği artırmak için kimlik doğrulama eklemeniz ve yalnızca güvenli bölümlerin ötesinde kimlik doğrulaması yapılmış kullanıcılara izin vermeniz gerekir. E-posta adreslerinin toplanmasını önlemek için, bir web sitesine e-postaları düz metin (veya kolayca deşifre edilebilir metin) koymayın.
Robots.txt dosyası yalnızca botların ve örümceklerin belirli içerik parçalarını tek başına bırakma isteği olarak kullanılır; aslında erişimlerini engelleyemez. "İyi" botlar buna saygı gösterir, ancak "kötü" olanlar (muhtemelen engellemek istediğiniz) onu görmezden gelir ve yine de devam eder.
Robots.txt yerine, CAPTCHA kodlarını kullanmanız gerekebilir.