Paralel olarak dört görev… bunu nasıl yaparım?

Bir dizinde bir sürü PNG resmi var. Bu görüntüleri sıkıştırmak için kullandığım pngout adlı bir uygulamam var. Bu uygulama yaptığım bir komut dosyası tarafından denir. Sorun şu ki, bu komut dosyası bir seferde bir tane yapıyor, şunun gibi:

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

Bir seferde sadece bir dosyayı işlemek çok zaman alır. Bu uygulamayı çalıştırdıktan sonra, CPU'nun sadece% 10 olduğunu görüyorum. Bu yüzden bu dosyaları 4 gruba ayırabilirim, her bir dizini bir dizine koyup 4'ü dört terminal penceresinden, dört işlemden geçirebildiğimi keşfettim. iş zamanın 1 / 4'ünü alır.

İkinci sorun, görüntüleri ve grupları bölüp senaryoyu dört dizine kopyalamak, 4 terminal penceresi açmak, bla bla ...

Hiçbir şeyi bölmek zorunda kalmadan tek bir senaryo ile bunu nasıl yaparsınız?

İki şeyi kastediyorum: ilk önce bir bash betiğinden nasıl bir süreci arka plana çekebilirim? (yalnızca sonuna & sonuna ekleyin?) İkincisi: Dördüncü görevleri gönderdikten sonra arka plana görev göndermeyi nasıl durdurabilirim ve komut dosyasını görevler bitinceye kadar beklemeye nasıl koyabilirim? Demek istediğim, arka plana bir görev sona erdiğinde yeni bir görev göndermek, her zaman 4 görevi paralel tutmak mı demek istiyorsunuz? Bunu yapmazsam, döngü zilyonlarca görevi arka plana fırlatacak ve CPU tıkayacaktır.

xargsParalel yürütmeyi destekleyen bir kopyasına -Psahipseniz,

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

Diğer fikirler için, Wooledge Bash wiki, İşlem Yönetimi makalesinde tam olarak ne istediğinizi anlatan bir bölüme sahiptir .

Önceden önerilmiş olan çözümlere ek olarak, sıkıştırılmamış bir dosyayı sıkıştırılmamış hale getirmeyi ve make -j 4paralel olarak 4 işi çalıştırmak için kullanmayı açıklayan bir makefile oluşturabilirsiniz . Sorun, sıkıştırılmış ve sıkıştırılmamış dosyaları farklı şekilde adlandırmanız veya farklı dizinlerde saklamanız gerekecek, aksi takdirde makul bir makyaj kuralı yazmak imkansız olacaktır.

Eğer GNU Parallel http://www.gnu.org/software/parallel/ kurulu ise bunu yapabilirsiniz:

parallel ./pngout -s0 {} R{} ::: *.png

GNU Parallel'ı basitçe aşağıdaki şekilde kurabilirsiniz:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

Daha fazla bilgi için GNU Parallel için tanıtım videolarını izleyin: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

İki sorunuzu cevaplamak için:

• evet, satırın sonuna & sonuna eklenmesi, size bir kabuk arkaplan işlemi başlatmanızı söyleyecektir.
• waitkomutunu kullanarak, daha fazla ilerlemeden önce kabuktan arka plandaki tüm işlemlerin bitmesini beklemesini isteyebilirsiniz.

İşte komut dosyası değiştirildi, böylece jarka plan işlemlerinin sayısını takip etmek için kullanıldı. Ne zaman NB_CONCURRENT_PROCESSESulaşıldığında, senaryo sıfırlanır j0 ve 's yürütme sürdürmeden önce tüm bitirmek için arka plan işlemlerini bekleyin.

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done