1000+ web sitelerini bir aylık değişiklikler için izleyin [kapalı]


1

İçeriğinin değişip değişmediğini görmek için 1000'den fazla bağlantıyı bir ay boyunca izlemem gerekiyor ve bunu bir şekilde otomatikleştirip değiştiremeyeceğimi merak ediyorum. Bir fikir bu web sitelerini bir ay içinde şimdi ve tekrar indirip kaynak dosyaları karşılaştırmaktı. Bu rotadan aşağı inersem, böyle bir indirmeyi kolaylaştıracak bir araç (tarayıcı uzantısı?) Tanıyor musunuz? HTTrack'i denedim, ancak ilk 100 bağlantıdan sonra başarısız oluyor. Alternatif olarak, bir dizi web sitesini izleyebilen (ücretsiz) bir web servisi de işe yarayabilir. Daha önce https://visualping.io/ adresini kullandım , ancak binlerce bağlantı için tasarlanmamıştır.


Sadece "başarısız" den daha belirgin olun, aslında olası bir araç olabilir. Alternatif olarak, curl, indirme yöneticisi veya her neyse kullanabilirsiniz. Evet, bunu otomatikleştirebilirsiniz.
Seth

javascript:alert(document.lastModified)?
Akina

curlBir dosyayı deneyip kullanabilir ve daha sonra diffher gün dosyalar arasında bir dosya çalıştırabilirsiniz. Otomatikleştirmek için bağlantılarınızı bir dosyaya koyun ve her satırda değişken olarak okumak için bir komut dosyası kullanın. Sonra sadece kaynak dosyaları elde ederek bunların arasında dolaşın. O zaman geçerli gün dosyalarını önceki gün ile karşılaştırabilir ve hangi şekilde uygun hissedeceğinize dair uyarıda bulunabilirsiniz. Ardından önceki günün kaynak dosyalarını bir çeşit temizleme olarak silebilirsiniz. Bu pencere varsayılan akılda minimal harici araç approach.Just ayının tür curlbir linux curl gerekiyordu yüzden farklı komut için bir powershell diğer adıdır
Gytis

Yanıtlar:


1

Acaba bunu bir şekilde otomatikleştirebilir miyim?

Çok gerekli değil ama evet, bazı basit senaryolar yazabilirsiniz.

Böyle bir indirmeyi kolaylaştıracak ... bir araç biliyor musunuz?

wget , curl, vb

1000 özel URL’yi bir metin dosyasına koyabilir, iki dizin oluşturabilir, ilk dizine cd ekleyebilir ve URL’lerin listesini okuma ve bunları wgetalma -iseçeneği gibi bir araç kullanabilirsiniz . Bir ay sonra bunu ikinci dizinde tekrarlayın, herhangi bir değişiklik bulmak için diff örn diff -r /directory1 /directory2.


Özyinelemeli seçenekleri kullanma konusunda dikkatli olun, sunucuyu boğabilir ve sizi yasaklayabilir veya bilgisayarınızı aşırı yükleyebilir.

Önce küçük bir URL grubu denerdim (örneğin 2, 10, ardından 1000)


Düşük maliyetli bir seçenek, HTTP HEAD isteklerini kullanmak ve sunucunun bir kaynağın değişip değişmediğini bildiğine güvenmek olabilir.

Bkz Wget HEAD isteği?

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.