Paralel kabuk döngüleri

Birçok dosyayı işlemek istiyorum ve burada bir sürü çekirdek olduğundan paralel olarak yapmak istiyorum:

for i in *.myfiles; do do_something $i `derived_params $i` other_params; done

Makefile çözümünü biliyorum ama komutlarımın kabuk globbing listesinden argümanlara ihtiyacı var. Ne buldum:

> function pwait() {
>     while [ $(jobs -p | wc -l) -ge $1 ]; do
>         sleep 1
>     done
> }
>

Bunu kullanmak için, tek yapılması gereken işler ve bir pwait çağrısından sonra, parametre paralel işlemlerin sayısını verir:

> for i in *; do
>     do_something $i &
>     pwait 10
> done

Ama bu çok iyi çalışmıyor, örneğin ben bir döngü için birçok dosya dönüştürme ama bana hata ve işlerini geri bıraktı denedim.

Zsh posta listesindeki tartışma şimdiye kadar çok eski olduğundan bunun henüz yapılmadığına inanamıyorum. Daha iyisini biliyor musun?

Orada Makefile olan senin soruna iyi bir çözüm. Bu paralel yürütmeyi bir kabukta programlayabilirsiniz, ancak fark ettiğiniz gibi zor. Paralel bir uygulama, sadece işe başlama ve işten çıkarılmalarını tespit etmekle kalmayacak, aynı zamanda zor olan yük dengelemesini de ele alacaktır.

Globbing gereksinimi bir engel değildir: onu destekleyen uygulamalar vardır. Joker karakter genişletmesi $(wildcard *.c)ve kabuk erişimi gibi $(shell mycommand)GNU markası (GNU'daki arama işlevleri daha fazla bilgi için kılavuzu oluşturur). makeLinux'ta varsayılan değerdir ve diğer birçok sistemde kullanılabilir. İşte ihtiyaçlarınıza göre ayarlayabileceğiniz bir Makefile iskeleti:

sources = $ (joker karakter * .src)

all: $ (kaynaklar: .src = .tgt)

% .tgt: $ .src
    do_something $ <$$ (türetilmiş_params $ <)> $ @

make -j4Dört işi paralel olarak yürütmek veya make -j -l3yük ortalamasını 3 civarında tutmak gibi bir şey çalıştırın .

Türetilmiş argümanlarınızın neye benzediğinden emin değilim. Ancak GNU Parallel http: // www.gnu.org/software/parallel/ ile bunu cpu çekirdeği başına bir iş çalıştırmak için yapabilirsiniz:

find . | parallel -j+0 'a={}; name=${a##*/}; upper=$(echo "$name" | tr "[:lower:]" "[:upper:]");
   echo "$name - $upper"'

Türetmek istediğiniz şey yalnızca .extension değerini değiştiriyorsa, {.} Kullanışlı olabilir:

parallel -j+0 lame {} -o {.}.mp3 ::: *.wav

Http://www.youtube.com/watch?v=OpaiGYxkSuQ adresinden GNU Paralel'e giriş videosunu izleyin

Kabuğun waitkomutunu kullanmak sizin için uygun olmaz mı?

for i in *
do
    do_something $i &
done
wait

Döngünüz bir işi yürütür, sonra bekler, sonra bir sonraki işi yapar. Yukarıdaki işi sizin için değilse taşımak, sonra seninki daha işe yarayabilecek pwaitsonra done.

Neden kimse henüz xargs'tan bahsetmedi?

Tam olarak üç argümanınız olduğunu varsayarsak,

for i in *.myfiles; do echo -n $i `derived_params $i` other_params; done | xargs -n 3 -P $PROCS do_something

Aksi takdirde bir sınırlayıcı kullanın (null bunun için kullanışlıdır):

for i in *.myfiles; do echo -n $i `derived_params $i` other_params; echo -ne "\0"; done | xargs -0 -n 1 -P $PROCS do_something

EDIT: yukarıdakiler için, her parametre boş bir karakterle ayrılmalı ve sonra parametre sayısı xargs -n ile belirtilmelidir.

Bazı cevapları denedim. Senaryoyu gerekenden biraz daha karmaşık hale getiriyorlar. İdeal olarak kullanmak parallelveya xargstercih edilirse de, for döngüsü içindeki işlemler karmaşıksa, paralel sağlamak için büyük ve uzun satır dosyaları oluşturmak sorunlu olabilir. bunun yerine kaynağı aşağıdaki gibi kullanabiliriz

# Create a test file 
$ cat test.txt
task_test 1
task_test 2

# Create a shell source file 
$ cat task.sh
task_test()
{
    echo $1
}

# use the source under bash -c 
$ cat test.txt | xargs -n1 -I{} bash -c 'source task.sh; {}'
1
2

Böylece probleminiz için çözüm şöyle görünecektir

for i in *.myfiles; echo " do_something $i `derived_params $i` other_params
" >> commands.txt ; done

tanımlamak do_something.sh

do_something(){
process $1
echo $2 
whatever $3 

}

xargveya ile yürütgnu parallel

   cat commands.txt | xargs -n1 -I{} -P8 bash -c 'source do_something.sh; {}'

İçin yinelemelerin işlevsel bağımsızlığının ima edildiğini varsayıyorum.