Her ikisi de bittiğinde paralel işlemler nasıl çalıştırılır ve çıktılar birleştirilir

Ben bir sekme ayrılmış dosya içine nihai sonuçları yaklaşık 5 veya 6 farklı programlar aracılığıyla bazı veri boru bir bash kabuk komut dosyası var.

Daha sonra aynısını benzer bir veri kümesi için tekrar yaparım ve ikinci bir dosyaya çıktı.

Daha sonra her iki dosya da karşılaştırmalı analiz için başka bir programa girilir. örneğin basitleştirmek

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

Sorum şu: adım1 ve adım2'yi aynı anda nasıl çalıştırabilirim (örn. & Kullanarak), ancak her ikisi de tamamlandığında yalnızca adım3'ü (AnalysisProg) başlatabilirim?

Teşekkür

ps AnalysisProg bir akış veya fifo üzerinde çalışmaz.

Kullanın wait. Örneğin:

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

niyet:

• Data1 ve Data2 kanallarını arka plan işleri olarak çalıştırma
• ikisinin de bitmesini bekleyin
• AnalysisProg çalıştırın.

Bkz. Örneğin bu soru .

Eğer sadece 2 dosyanız varsa, cxw'nin cevabı tercih edilen çözümdür. 2 dosya sadece örnekse ve gerçekte 10000 dosyanız varsa, '&' çözümü çalışmaz, çünkü sunucunuzu aşırı yükler. Bunun için GNU Parallel gibi bir araca ihtiyacınız var:

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

GNU Paralel hakkında daha fazla bilgi edinmek için:

• Hızlı bir giriş için giriş videosunu izleyin: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Eğiticiyi gözden geçirin (man parallel_tutorial). Komut satırınız sizi bunun için sevecek.

Bunu yapmanın bir yolu şöyle görünebilir:

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

Bu şekilde, her iki boru hattını da arka plan haline getirirsiniz, ancak yine de çıktılarını burada bir belgede değerlendirilen ve AnalysisProg'a teslim edilen stdin'e birleştirmeden önce yürütülmesini tamamlamasını beklersiniz. Kullanabiliyorsanız wait, while psdöngüden daha iyidir , ancak kabuk bağlı olarak, geçerli kabuğun alt öğesi olmayan birwait işlemde beklemesini bildirirseniz itiraz edebilir .

Ayrıca yukarıdaki yöntemin çıktıyı harmanlayacağına dikkat edin - böylece her iki işlem de aynı anda yazılacaktır. Bunun yerine ayrı olmasını veya birini diğerine eklemesini isterseniz, şunları yapabilirsiniz:

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

Bu kavramları daha önce göstermiştim. Muhtemelen en iyi demolar burada ve burada .

Bunu kullanmayı deneyin.

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done