Farklı bir alanda wget indirme sayfası kaynakları oluşturma

16

Kaynakları başka bir etki alanındayken (B etki alanı) tüm siteyi (A etki alanı) indirmek için wget'i nasıl kullanırsınız?
Denedim:
wget -r --level=inf -p -k -E --domains=domainA,domainB http://www.domainA

— Parsa
kaynak

Vaov! Bunca zamandan sonra kimse yok mu?

— Parsa

Komutun çalışmamasının nedeni --domains, kendi başına kullanımın açılmamasıdır --span-hosts. Eklemek --span-hostssorunu çözerdi. : |

— Parsa

14

wget --recursive --level=inf --page-requisites --convert-links --html-extension \
     --span-hosts=domainA,domainB url-on-domainA

GÜNCELLEME: Yukarıdaki komutun geçmişte benim için çalıştığını hatırlıyorum (2010'du ve o zamanlar Windows için GNU Araçları kullanıyordum ); ancak bugün kullanmak istediğimde bunu aşağıdaki gibi değiştirmek zorunda kaldım:

wget --recursive --level=inf --page-requisites --convert-links \
     --adjust-extension --span-hosts --domains=domainA,domainB domainA

Bunun için kestirme yol: wget -rEDpkH -l inf domainA,domainB domainA

-r = --recursive
-l <depth> = --level=<depth>
-E = --adjust-extension
-p = --page-requisites
-K = --backup-converted
-k = --convert-links
-D <domain-list> = --domain-list=<domain-list>
-H = --span-hosts
-np = --no-parent
-U <agent-string> = --user-agent=<agent-string>

GNU Wget Kılavuzu: https://www.gnu.org/software/wget/manual/wget.html

— Parsa
kaynak

Ben: wget: --span-hosts: Geçersiz boole domainA,domainB'; use açık 'veya' kapalı '. Açık konuma getirdikten sonra çalışmıyor.

— Matthew Flaschen

@MatthewFlaschen Burada yazdıklarım benim için çalıştı. Kullandığınız argümanları verebilir misiniz?

— Parsa

Daha önce koştuğum tam komuta sahip değilim. Ancak, ben ile aynı sorun var:

wget --recursive --level=inf --page-requisites --convert-links --html-extension --span-hosts=example.org,iana.org example.org

Debian GNU Wget 1.13.4 kullanıyorum.

— Matthew Flaschen

3

Deneyin --span-hosts --domains=example.org,iana.org- bence --span-hostsbir boolean olmalı ve sonra --domainshangi ana bilgisayarların yayılacağını belirtmek için kullanın .

— Eric Mill

Konklone, --span-hosts 1.12 bir boole ve daha sonra, bunu bilmiyordum. @ MatthewFlaschen, cevabı güncelledim. Bu arada, Windows için GNU Araçları kullanıyorsanız, bu hala 1.11 ve önceki sürümlerde çalışır.

— Parsa

1

wget --recursive --level = inf --page-requisites --convert-links --html-extension -rH -DdomainA, domainB domainA

— mnml
kaynak

Bu kısmen işe yarıyor. Ancak, bazı nedenlerden dolayı, URL'nin (sonunda) bir yönlendirme olması işe yaramaz gibi görünüyor. Ayrıca, yalnızca sayfa gereksinimlerini değil, bağlantıları da indirir. Ayrıca, -r ve --resursive aynıdır.

— Matthew Flaschen

0

wget --page-requisites --convert-links --adjust-extension --span-hosts --domains domainA,domainB domainA

Robots.txt dosyasını göz ardı etmeniz gerekebilir (bu bazı hizmet şartlarının ihlali anlamına gelebilir ve gereken minimum tutarı indirmeniz gerekir). Bkz. Https://www.gnu.org/software/wget/manual/wget.html#Robot-Exclusion .

— Matthew Flaschen
kaynak

-1

HTTrack kullanmayı düşünün . Diğer alanlardaki içeriği tararken wget'ten daha fazla seçeneğe sahiptir. - span-hosts, --domains ve - ile wget kullanarak ihtiyaçlarım için yetersiz ama HTTrack işi yaptı. Diğer alanlarda yeniden yönlendirme sınırını belirlemenin çok yardımcı olduğunu hatırlıyorum.

— watbywbarif
kaynak