Bas betiğinde binlerce kıvırmak arka plan işlemini paralel olarak çalıştırma

Aşağıdaki bash betiğinde paralel olarak curl arka plan işlemlerinin thounsandını çalıştırıyorum

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

49Gb Corei7-920 özel sunucum var (sanal değil).

Bellek tüketimini ve CPU'yu topkomut aracılığıyla izliyorum ve sınırlardan çok uzaklar.

ps aux | grep curl | wc -lMevcut kıvırma işlemlerinin sayısını saymak için kullanıyorum . Bu sayı 2-4 bine kadar hızla artar ve daha sonra sürekli olarak azalmaya başlar.

Awk ( curl | awk > output) ' ye boru kıvrımı üzerinden basit ayrıştırma eklerseniz , kıvrılma süreçleri sayısı 1-2 bine kadar yükselir ve sonra 20-30'a düşer ...

İşlem sayısı neden bu kadar dramatik bir şekilde azalıyor? Bu mimarinin sınırları nerede?

Sıkı soru aşağıdaki:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Isıtıcı plaka metnine zamanlamalar etrafında ihtiyacınız yoksa daha kısa:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

1000'leri paralel olarak çalıştırmak istiyorsanız, bazı sınırlara (dosya tanıtıcıları gibi) çarparsınız. Ulimit -n veya /etc/security/limits.conf dosyasının yükseltilmesi yardımcı olabilir.

for i in {1..100000}

Sadece 65536 port vardır. Bunu kısın.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(değiştir: (değiştir: OS sınırları hakkında ciddi şekilde tarihli beyanı kaldır ve eksikleri ekle )echocurl
wait