Dosyaları bir kerede hepsini kullanarak aşağıdaki sayfadan indirmek istiyorum curl:
http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/
Denedim curl http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ve terminalde birkaç satır döndürdü, ancak dosya alamadım.
Yanıtlar:
Yerine wgetkullanın. brew install wgetHomebrew yüklediyseniz veya sudo port install wgetMacPorts'u yüklediyseniz, onu da yükleyebilirsiniz .
Bir dizin listesinden dosya indirmek için kullanın -r(özyinelemeli), -np(üst dizinlere olan bağlantıları takip etmeyin) ve -kindirilen HTML veya CSS’deki bağlantıları yerel dosyalara (credit @xaccrocheur) gösterin.
wget -r -np -k http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/Diğer faydalı seçenekler:
-nd (dizin yok): tüm dosyaları geçerli dizine indir-e robots.off: robots.txt dosyalarını yoksay, robots.txt dosyalarını indirmeyin-A png,jpg: yalnızca uzantıları olan dosyaları kabul et pngveyajpg-m (ayna): -r --timestamping --level inf --no-remove-listing-nc, --no-clobber: Dosyalar varsa indirmeyi atlabrewve portbenim wget yüklemek için çalışmıyor. Ne yapmalıyım?
-kher zaman çalışmıyor. Örneğin, web sayfasında aynı dosyaya işaret eden iki bağlantınız varsa, yinelemeli olarak çekmeye çalışıyorsanız, wgetyalnızca ilk örneğin bağlantısını değil, ikincisini değil.
curlyalnızca tek bir web sayfası dosyasını okuyabilir, elde ettiğiniz satırların çoğu aslında dizin indeksidir (bu URL’ye giderseniz tarayıcınızda da görürsünüz). Kullanmak için curlve bazı Unix araçları sihir almak için dosyaları almak gibi bir şey kullanabilirsiniz
for file in $(curl -s http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/ |
grep href |
sed 's/.*href="//' |
sed 's/".*//' |
grep '^[a-zA-Z].*'); do
curl -s -O http://www.ime.usp.br/~coelho/mac0122-2013/ep2/esqueleto/$file
done
tüm dosyalar geçerli dizine girecektir.
Daha ayrıntılı ihtiyaçlar için (klasörler / dizinleri olan bir siteden bir sürü dosya alma dahil), wget(zaten başka bir cevapta önerildiği gibi) daha iyi bir seçenektir.
xmllint --html --xpath '//a/@href'Muhtemelen daha iyi bir çözümleyicidir grep.
Ref: http://blog.incognitech.in/download-files-from-apache-server-listing-directory/
Aşağıdaki komutu kullanabilirsiniz:
wget --execute="robots = off" --mirror --convert-links --no-parent --wait=5 <website-url>wget: CURL isteği yapmak ve uzak dosyaları yerel makinemize indirmek için basit komut.--execute="robots = off": Bu sayfalar arasında gezinirken robots.txt dosyasını görmezden gelecektir. Tüm dosyaları alamıyorsanız yararlı olur.--mirror: Bu seçenek temelde verilen URL'nin dizin yapısını yansıtacaktır. Bunun için bir kısayol var -N -r -l inf --no-remove-listing:
-N: dosyaları yerelden daha yeni olmadığı sürece geri almayın-r: özyinelemeli indirme belirtin-l inf: maksimum yineleme derinliği (infinite için inf veya 0)--no-remove-listing: '.listing' dosyalarını silmeyin--convert-links: indirilen HTML veya CSS’deki bağlantıları yerel dosyalara bağla--no-parent: Üst dizine yükselme--wait=5: alımlar arasında 5 saniye bekleyin. Böylece sunucuyu çökertmeyiz.<website-url>: Bu, dosyaların indirileceği web sitesi URL'sidir.Mutlu İndirme: gülen:
Sen kullanabilirsiniz httrack Homebrew aracılığıyla Windows / MacOS için geçerli ve yüklenebilir.
Bir GUI ile bir uygulamayı tercih etmeyi tercih edenler için , wgetkullanıcı dostu bir şekilde uygulayan ve yaygın olarak ihtiyaç duyulan görevleri yerine getirebilecek ön ayarların bir listesi olan Mac OS X için ucuz bir shareware programı var . Ayrıca kendi özel yapılandırmalarınızı hazır ayar olarak kaydedebilirsiniz.
wget -r -np -k http://your.website.com/specific/directory. İşin püf noktası-kyerel görüntüleme için bağlantıları (görüntüleri vb.) Dönüştürmek için kullanmaktır .