«gnu-parallel» etiketlenmiş sorular

GNU Parallel'ı kullanarak ancak bunu başaramamış olmak üzere, aşağıdaki komut dosyasını, özellikle de üç FOR döngüsünün her birini paralel hale getirmeye çalışıyordum. FOR döngüsünde bulunan 4 komut seri olarak çalışır, her döngü yaklaşık 10 dakika sürer. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt -in …

109 shell-script  gnu-parallel 

.shKullanarak bir komut dosyasında bir dizi görevi çalıştırmanın (varsa) farkı veya avantajı hakkında kafam karıştıGNU parallel Örneğin Ole Tange'nin cevabı: parallel ./pngout -s0 {} R{} ::: *.png Onları içine döngü demek yerine onları arka planda koyarak &. Örneğin frostschutz 'ın cevabı: #copied from the link for illustration for stuff in …

39 shell-script  background-process  xargs  gnu-parallel 

rsyncBir ana bilgisayardaki verileri başka bir ana bilgisayardaki verilerle senkronize etmek için bir komut dosyası kullanıyorum . Veriler neredeyse 1.2 TB'a katkıda bulunan çok sayıda küçük boyutlu dosyaya sahiptir. Bu dosyaları senkronize etmek için rsyncaşağıdaki komutu kullanıyorum : rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ Proj.lst içeriği aşağıdaki gibidir: …

19 linux  rhel  rsync  gnu-parallel 

Ben giriş dosyaları (birçok giriş satırı içeren her dosya) dolu bir dizin verildi bir kabuk komut dosyası sorunum var ve ben her biri kendi çıktıları benzersiz bir dosya (aka, file_1.input ihtiyaçlarını yeniden yönlendirerek, ayrı ayrı işlemek gerekir file_1.output vb. içinde yakalanacaktır). Önceden paralel olarak , işlemcileri boğmamak için bir çeşit …

18 scripting  parallelism  gnu-parallel 

Bazı simülasyon verilerini işlemek için daha büyük bir komut dosyasında aşağıdaki satır vardı: parallel bnzip2 -- *.bz2 Hangi, paralleldoğru anlıyorsam (ve olmayabilir), programın n-core iş parçacıkları listelenen uzantıya sahip tüm dosyalar üzerinde çalıştırmalısınız. Komutu yanlış yazdığımı fark edebilirsiniz bunzip2. Burada bir uyarı veya hata mesajı beklenir, ancak sessizce başarısız olur. …

15 gnu-parallel  moreutils-parallel 

Bir while döngüm var: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Ancak bu uzun zaman alabilir. GNU Paralel'i bu while döngüsü için nasıl kullanırım?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % İkinci çizginin de aynı şekilde hareket etmesini beklerdim.

9 bash  shell  quoting  gnu-parallel 

Postgresql veritabanına oldukça devasa bir dosya yüklüyorum. Bu ilk kullanımını yapmak için splitdaha küçük dosyalar (30Gb her) almak için dosyada ve sonra kullanarak veritabanına her küçük bir dosya yüklemek GNU Parallelve psql copy. Sorun, dosyayı bölmenin yaklaşık 7 saat sürmesi ve çekirdek başına bir dosya yüklemeye başlamasıdır. İhtiyacım olan şey, …

9 files  split  gnu-parallel