7
Web sitelerini tararken nasıl iyi bir vatandaş olunur?
Çeşitli kamuya açık web sitelerini tarayacak ve bunlarla ilgili verileri işleyecek / toplayacak bazı işlevler geliştireceğim. E-posta adreslerini aramak gibi kötü bir şey yok - aslında sitelerine ek trafik çekebilecek bir şey. Ama ben dalıyorum. Şeref dışında robots.txt, (a) kötü niyetli ve potansiyel olarak yasaklanmış görünmekten kaçınmak ve (b) site …