«internet-archive» etiketlenmiş sorular

İnternet Arşivinin bir sitede ne arşivlediğini kontrol etmek için herhangi bir mekanizma var mı? Ekleyebileceğim tüm sayfalara izin vermem gerektiğini biliyorum : User-agent: ia_archiver Disallow: / Bot'a sitemi ayda bir kez veya yılda bir kez taramalarını istediğimi söyleyebilir miyim? Alınan varlıklar nedeniyle doğru şekilde arşivlenmeyen / arşivlenmeyen bir sitem / …

13 cache  internet-archive 

Çoğunlukla arama motorları tarafından dizine eklenmesini istemediğim bir web sitem var, ancak archive.org'da sonsuza kadar korumak istiyorum. Yani benim robots.txtbununla başlıyorum: User-agent: * Disallow: / Bugün, archive.org'a göre robots.txtbotlarına izin vermek için aşağıdakileri eklemeliyim : User-agent: ia_archiver Disallow: Ancak, birkaç yıl önce belirttiklerini zaten yapmıştım, en azından aşağıdakileri ekledim: User-agent: …

10 web-crawlers  robots.txt  internet-archive