Wget ile tek bir web sayfasını (arka plan görüntüleri ile) kaydedin

Tekli web sayfalarını (özyinelemeli değil, bütün siteleri değil) referans olarak kaydetmek için Wget'ı kullanmak istiyorum. Firefox’un “Web Sayfası, tamamlandı” gibi.

İlk sorunum: Cget’te belirtilen arka plan resimlerini Wget’e kaydedemiyorum. Arka plan görüntüsü dosyalarını kaydetmiş olsa bile, bence - convert-links, CSS dosyasındaki arka plan görüntüsü URL'lerini yerel olarak kaydedilen arka plan görüntülerine işaret edecek şekilde dönüştürür. Firefox'ta da aynı sorun var.

İkinci sorunum: Sayfada görüntüler varsa kaydetmek istiyorum, başka bir sunucuda barındırılan (reklamlar gibi) bunlar dahil edilmeyecek. --span-hosts bu sorunu aşağıdaki satırdan çözüyor gibi görünmüyor.

Kullanıyorum: wget --no-parent --timestamping --convert-links --page-requisites --no-directories --no-host-directories -erobots=off http://domain.tld/webpage.html

Gönderen Wget adam sayfası :

Aslında, tek bir sayfa ve tüm gereksinimlerini (ayrı web sitelerinde bulunsalar bile) indirmek ve partinin yerel olarak düzgün görüntülendiğinden emin olmak için, bu yazar '-p' seçeneğine ek olarak birkaç seçenek kullanmayı sever:

wget -E -H -k -K -p http://www.example.com/

Ayrıca robots.txt, izin vermemeniz durumunda-e robots=off

wgetKomut seçeneği sunar --mirroraynı şeyi yapar:

$ wget -r -N -l inf --no-remove-listing

Ayrıca -x, ana bilgisayar adı da dahil olmak üzere site için tam bir dizin hiyerarşisi oluşturmak için de atabilirsiniz .

wgetAncak , en yeni sürümünü kullanmıyorsanız, bunu bulamayabilirsiniz .

Kulağa hoş geliyor wgetve Firefox bu dosyaları indirme işlemine dahil etmek için CSS’leri ayrıştırmıyor. Neler yapabileceğinizi belirleyerek ve kaçırdığınız dosyaların bir listesini oluşturmak için indirilen dosyalardaki herhangi bir CSS veya Javascript’ten link çıkarımını kodlayarak bu sınırlamaları çözebilirsiniz. Ardından wget, bu bağlantı listesindeki ikinci bir çalıştırma kaçırılan öğeyi alabilir ( -ibir dosya listeleme URL’leri belirtmek için bayrağı kullanın).

Perl'den hoşlanıyorsanız , CPAN'da bir CSS :: Parser modülü var, bu şekilde bağlantıları çıkarmak için kolay bir yol sunar.

Hangi sayfanın alınacağını belirlemek wgetiçin yalnızca belirli html işaretlemesini ( href/ src) ve css uris ( url()) 'nin ayrıştırdığını unutmayın . Almadığınız 3. taraf görüntülerin Javascript aracılığıyla eklenip eklenmediğini anlamak için DOM Inspector veya Firebug gibi Firefox eklentilerini kullanmayı deneyebilirsiniz - öyleyse, bunları almak için bir komut dosyasına veya Firefox eklentisine başvurmanız gerekir çok.

Webtografiyi benzer bir amaç için yaptım: https://webjay.github.io/webtography/

Wget kullanır ve siteyi GitHub hesabınızdaki bir depoya iter.

Bu argümanları kullanıyorum:

--user-agent=Webtography
--no-cookies
--timestamping
--recursive
--level=1
--convert-links
--no-parent
--page-requisites
--adjust-extension
--max-redirect=0
--exclude-directories=blog

https://github.com/webjay/webtography/blob/master/lib/wget.js#L15-L26