6
Bir web sitesinin robots.txt dosyası yoksa ne olur?
Eğer robots.txtdosya şeyler olarak kabul edilir nasıl bir web sitesi, kök dizininde eksik: site hiç dizine eklenmedi site herhangi bir kısıtlama olmadan indekslenir Mantıklı bana göre ikinci olmalı. Bu soruya atıfta bulunmak istiyorum .