«parallelism» etiketlenmiş sorular

Varsayalım 0ve 1yalnızca özel olarak erişilebilen iki kaynağım var . xargsÜcretsiz bir karşılıklı dışlama hizmeti olarak kullanmak için başlatılan "paralel işlemci" nin "dizinini" kurtarmanın herhangi bir yolu var mı ? Örneğin, aşağıdaki paralel hesaplamayı göz önünde bulundurun: $ echo {1..8} | xargs -d " " -P 2 -I {} echo …

14 xargs  parallelism 

Stdin dosya listesini işleyen bir görevim var. Programın başlatma süresi büyüktür ve her dosyanın aldığı zaman büyük ölçüde değişir. Bu işlemlerin önemli bir kısmını oluşturmak istiyorum, sonra işi hangisi meşgul değilse ona gönderiyorum. Neredeyse istediğimi yapan birkaç farklı komut satırı aracı var, neredeyse iki çalışma seçeneğine daralttım: find . -type …

13 xargs  split  parallelism 

Farklı formatlarda üç çeşit veri var; her veri türü için, onu tek bir birleşik formata dönüştüren bir Python betiği vardır. Bu Python betiği yavaş ve CPU'ya bağlı (çok çekirdekli bir makinede tek bir çekirdeğe), bu yüzden üç örneğini - her veri türü için bir tane - çalıştırmak ve çıktılarını içine …

10 text-processing  pipe  split  parallelism 

Eşzamanlı programım için performans testleri çalıştırmam gerekiyor ve gereksinimim sadece bir CPU çekirdeğinde çalıştırılması gerektiğidir . (Kooperatif iş parçacıkları istemiyorum - her zaman bağlam değişikliği olmasını istiyorum). İki sorum var: En iyi çözüm - Yalnızca programım için yalnızca bir CPU çekirdeği nasıl imzalanır ve rezerve edilir (işletim sistemini bu CPU …

9 linux  cpu  parallelism 

xargsYaklaşık 30 milyon küçük dosyayı işlemek için bir python betiği çağırmak için kullanıyorum . xargsSüreci paralelleştirmek için kullanmayı umuyorum . Kullanıyorum komut: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Temel olarak, Convert.pyküçük bir json dosyasında (4kb) okur, biraz işlem yapar ve …

9 xargs  parallelism 

Aşağıdaki formatta bir bash betiği yazdım: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." whileDöngü gelen okuyacak $inFile, hat üzerinde bazı etkinlikler gerçekleştirmek ve sonucu dökümü $outFile. …

9 shell-script  multithreading  parallelism 

forAşağıdaki kodun döngülerini paralelleştirmek istiyorum . Bu nasıl yapılır? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" "$min") …

9 bash  shell-script  parallelism