Dosya listesini indirmek için cat'den cURL'ye boru çıkışı

Adlı bir dosyada URL'lerin bir listesi var urls.txt. Her satır 1 URL içerir. CURL kullanarak tüm dosyaları bir kerede indirmek istiyorum. Doğru tek sırayı indiremiyorum.

Denedim:

$ cat urls.txt | xargs -0 curl -O

Ama bu bana sadece listedeki son dosyayı veriyor.

Bu benim için çalışıyor:

$ xargs -n 1 curl -O < urls.txt

FreeBSD'deyim. Xarglarınız farklı çalışabilir.

Bunun curlgereksiz yere ağır olarak görebileceğiniz sıralı e'leri çalıştırdığını unutmayın . Bu ek yükün bir kısmını kurtarmak isterseniz, bash'da aşağıdakiler işe yarayabilir:

$ mapfile -t urls < urls.txt
$ curl ${urls[@]/#/-O }

Bu, URL listenizi bir diziye kaydeder, ardından curlhedeflerin indirilmesine neden olmak için diziyi seçeneklerle genişletir . curlKomut birden fazla URL almak ve mevcut bağlantı (HTTP / 1.1) geri dönüşüm, hepsini getir, ama bu ihtiyacı olabilir -Oiçin her biri önce seçeneği indirme ve kaydetme her bir hedef. Kabuğunuzla etkileşimden kaçınmak için bazı URL'lerdeki] karakterlerin öncelenmesi gerekebileceğini unutmayın.

Veya bash yerine bir POSIX kabuğu kullanıyorsanız:

$ curl $(printf ' -O %s' $(cat urls.txt))

Bu printf, veri bağımsız değişkenlerinin listesini tüketmek için biçim örüntüsünü tekrarlama davranışına dayanır ; tek başına printfçalışanların hepsi bunu yapmaz.

Bu xargs olmayan yöntemin çok büyük URL listeleri için sistem sınırlarını da aşabileceğini unutmayın. Araştırma ARG_MAX ve MAX_ARG_STRLEN bu bir endişe ise.

Çok basit bir çözüm şu olabilir: "file.txt" gibi bir dosyanız varsa

url="http://www.google.de"
url="http://www.yahoo.de"
url="http://www.bing.de"

O zaman curl kullanabilir ve basitçe yapabilirsiniz

curl -K file.txt

Ve curl, file.txt dosyanızda bulunan tüm URL'leri çağıracaktır!

Dolayısıyla, girdi dosya biçiminiz üzerinde kontrole sahipseniz, belki bu sizin için en basit çözümdür!

Ya da bunu yapabilirsin:

cat urls.txt | xargs curl -O

-IParametreyi yalnızca cat çıktısını bir komutun ortasına eklemek istediğinizde kullanmanız gerekir .

xargs -P 10 | curl

GNU xargs -Pbirden çok curlişlemi paralel olarak çalıştırabilir . Örneğin 10süreçleri çalıştırmak için :

xargs -P 10 -n 1 curl -O < urls.txt

Bu, en yaygın senaryo olan maksimum indirme hızınıza ulaşılmazsa ve sunucu IP'leri kısıtlamazsa indirmeyi 10 kat hızlandıracaktır.

Sadece -Pçok yükseğe ayarlamayın, yoksa RAM'iniz boğulmuş olabilir.

GNU parallelbenzer sonuçlar elde edebilir.

Bu yöntemlerin dezavantajı onlar neyi tüm dosyalar için tek bir bağlantı kullanmak kalmamasıdır curlnda olduğu gibi bir defada buna birden fazla URL geçirirseniz yapar:

curl -O out1.txt http://exmple.com/1 -O out2.txt http://exmple.com/2

/server/199434/how-do-i-make-curl-use-keepalive-from-the-command-line adresinde belirtildiği gibi

Belki her iki yöntemi birleştirmek en iyi sonuçları verir? Ancak paralelleştirmenin bağlantıyı canlı tutmaktan daha önemli olduğunu düşünüyorum.

Ayrıca bkz: Curl komut satırı yardımcı programını kullanarak paralel indirme

Mac'te (OSX) bunu nasıl yapıyorum, ancak diğer sistemlerde de eşit derecede iyi çalışması gerekir:

İhtiyacınız olan şey curl için bağlantılarınızı içeren bir metin dosyasıdır

bunun gibi:

    http://www.site1.com/subdirectory/file1-[01-15].jpg
    http://www.site1.com/subdirectory/file2-[01-15].jpg
    .
    .
    http://www.site1.com/subdirectory/file3287-[01-15].jpg

Bu varsayımsal durumda, metin dosyası 3287 satıra sahiptir ve her satır 15 resmi kodlamaktadır.

Diyelim ki bu bağlantıları sabit sürücümüzün en üst seviyesinde (/) testcurl.txt adlı bir metin dosyasına kaydettik.

Şimdi terminale girmeli ve bash kabuğuna aşağıdaki komutu girmeliyiz:

    for i in "`cat /testcurl.txt`" ; do curl -O "$i" ; done

Geri tikleri kullandığınızdan emin olun (`) Ayrıca bayrağın (-O) büyük harf O olduğundan ve sıfır OLMADIĞINDAN emin olun.

-O işareti ile orijinal dosya adı alınacaktır

Mutlu indirmeler!

Başkalarının haklı olarak belirttiği gibi:

-cat urls.txt | xargs -0 curl -O
+cat urls.txt | xargs -n1 curl -O

Bununla birlikte, bu paradigma çok kötü bir fikirdir, özellikle tüm URL'leriniz aynı sunucudan geliyorsa - yalnızca başka bir curl örneği üretmeyeceksiniz, aynı zamanda her istek için yeni bir TCP bağlantısı kuracaksınız. son derece verimsiz ve hatta artık her yerde bulunan https ile daha da fazla.

Lütfen bunun yerine şunu kullanın:

-cat urls.txt | xargs -n1 curl -O
+cat urls.txt | wget -i/dev/fd/0

Veya daha da basit:

-cat urls.txt | wget -i/dev/fd/0
+wget -i/dev/fd/0 < urls.txt

Şimdiye kadarki en basit:

-wget -i/dev/fd/0 < urls.txt
+wget -iurls.txt