wget özyinelemeli indirme, ama tüm bağlantıları takip etmek istemiyorum

Bir web sitesini wget kullanarak yansıtmaya çalışıyorum, ancak çok fazla dosya indirmek istemiyorum, bu yüzden --rejecttüm dosyaları kaydetmemek için wget seçeneğini kullanıyorum . Ancak wget yine de tüm dosyaları indirecek ve daha sonra reddetme seçeneğimle eşleşirse dosyayı kaldıracaktır.

Bazı kabuk joker karakterleri ile eşleşiyorsa belirli bağlantıları takip etmemeyi söylemenin bir yolu var mı? Eğer wget bunu yapamazsa, bunu yapabilen başka bir ortak linux komutu var mı?

IMO, daha esnek ve sezgisel içerme / hariç tutma mantığı olan HTTrack'ı da deneyebilirsiniz . Böyle bir şey ...

httrack "https://example.com" -O ExampleMirrorDirectory \
"-*" \
"+https://example.com/images/*" \
"-*.swf"

Kurallar sırayla uygulanır ve önceki kuralları geçersiz kılar ...

1. Her şeyi hariç tut
2. Ancak https://example.com/images/ * ekleyin
3. Ancak swf ile biten herhangi bir şeyi hariç tutun

Wget'te bunun mümkün olmadığı anlaşılıyor

'Man wget' ın --reject bölümünün altında:

"Bir joker karakterden herhangi biri, *,?, [Veya], bir acclist veya reflist öğesinde görünüyorsa, ona bir sonek yerine desen olarak davranılacağını unutmayın."

Bunu yapıyorsanız, kullandığınız kalıplara ve neyle eşleşmesi gerektiğini düşündüğünüze dair örnekler vermek isteyebilirsiniz ve bu uyuşmaz. Eşleştiğini söyledin, ama emin misin?

Ayrıca, bu listeyi tırnak içine aldığınızdan emin olun, böylece kabuk argümanları uyandırmadan önce bu joker karakterleri genişletmez.

Sistem sürüm 1.12 yoksa bile, manuel ait Dosyalar bölümünün Türleri okumak burada . Değişiklik günlüğüne göre, koruyucu bazı uyarılar ekledi:

* NEWS: Added documentation change re: --no-parents, and various
caveats on accept/reject lists behavior. Rearranged some items in
order of priority.

Özyineleme düzeyini seçenekle kısıtlayabilirsiniz, -l NUMBERbu yardımcı olur (belirli bir normal ifade modelini izlemez).

"2" düzeyi index.html, alt siteleri / resimleri / vb. Ve alt sitedeki bağlantıları indirir.

wget'i nasıl kullanıyorsun? bu şekilde kullanmaya çalışın:

wget -r --reject=gif,jpg,swf http://norc.aut.ac.ir/

bu komut gif ve jpg ve swf dosyalarını yok sayar.

Geçici çözümlerden biri wget'i bir proxy sunucu üzerinden çalıştırmak olacaktır. Proxy'nizi belirli kalıplara izin vermeyecek şekilde ayarlayın. Bu, wget'in onları ilk etapta indirmesini engelleyecektir.

wget, -R modeliyle eşleşen bir dosyayı indirir ve kaldırır. yalnızca dosya adlarının uzantılarını veya parçalarını değil, kalıpları da eşleştirebilir. Ancak, wget'in önce indirilmesini ve daha sonra silinmesini durdurmaz.

httrack bazı güzel özelliklere sahip ama benim deneyimime göre bir "dosyayı" kaydetme yolu biraz tuhaf olabilir, örneğin httrack index.asp ile karşılaşırsa? Type = BASIC & PAGEID = 2234234
kaydedebilir, ancak onu sorgu parçaları
, örneğin% h% p /% n,% [TİPİ: @type = ::]%. [pageId: pageId = ::]% t
@, questionmark için bir tutucudur daha sonra dosyalarını yeniden, ya da bir soru işaretinden kaçabilir mi? Sorun şu ki,.% t URI'nızın sonuna '.html' içermeyen bir '.html' ekleyecek ve eğer onu çıkarırsanız, httrack indirmelerinin görüntülerinde bir dosya uzantısı bulunmayacaktır.

Wget IMHO'yu kullanmak daha iyi