Kabuktaki birden fazla dosyaya yön verin

Diske depolamak istemediğim büyük miktarda veri üretecek bir uygulamam var. Uygulama çoğunlukla kullanmak istemediğim, ancak ayrı dosyalara bölünmesi gereken birtakım yararlı bilgiler verir. Örneğin, aşağıdaki çıktı verilir:

JUNK
JUNK
JUNK
JUNK
A 1
JUNK
B 5
C 1
JUNK

Uygulamayı üç defa çalıştırabilirim:

./app | grep A > A.out
./app | grep B > B.out
./app | grep C > C.out

Bu istediğimi elde ederdi, ama çok uzun sürdü. Ayrıca tüm çıktıları tek bir dosyaya dökmek ve bunun üzerinden ayrıştırmak istemiyorum.

Yukarıda gösterilen üç işlemi uygulamanın sadece bir kez çalıştırmam ve hala üç ayrı çıktı dosyası almamı sağlayacak şekilde birleştirmenin bir yolu var mı?

Eğer tee

./app | tee >(grep A > A.out) >(grep B > B.out) >(grep C > C.out) > /dev/null

( buradan )

( işlem değişikliği hakkında )

Kullanabilirsiniz awk

./app | awk '/A/{ print > "A.out"}; /B/{ print > "B.out"}; /C/{ print > "C.out"}'

Kabuğunuzun kalıp eşleştirme yeteneklerini de kullanabilirsiniz :

./app | while read line; do 
     [[ "$line" =~ A ]] && echo $line >> A.out; 
     [[ "$line" =~ B ]] && echo $line >> B.out; 
     [[ "$line" =~ C ]] && echo $line >> C.out; 
 done

Ya da:

./app | while read line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && echo $line >> "$foo".out; 
  done; done

Ters eğik çizgiler ve çizgilerle baş edebilecek daha güvenli bir yol -:

./app | while IFS= read -r line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && printf -- "$line\n" >> "$foo".out; 
  done; done

@StephaneChazelas yorumlarda da belirtildiği gibi, bu çok verimli değildir. En iyi çözüm muhtemelen @ AurélienOoms'dur .

Birden fazla çekirdeğiniz varsa ve işlemlerin paralel olmasını istiyorsanız, şunları yapabilirsiniz:

parallel -j 3 -- './app | grep A > A.out' './app | grep B > B.out' './app | grep C > C.out'

Bu, paralel çekirdekte üç süreci doğurur. Konsolun bir çıktısı veya bir ana dosya olmasını istiyorsanız, çıktının bir miktar sırayla tutulması, karıştırmanın avantajı vardır.

Ole Tange'den paralel olan gnu faydası , paralel veya moreutils adı altında çoğu repodan elde edilebilir . Kaynak Savannah.gnu.org adresinden elde edilebilir . Ayrıca bir tanıtım videosu da burada .

ek

Paralelin en yeni sürümünü (mutlaka dağıtım reponuzdaki sürümü değil) kullanarak daha zarif yapıyı kullanabilirsiniz:

./app | parallel -j3 -k --pipe 'grep {1} >> {1}.log' ::: 'A' 'B' 'C'

Bir ./app ve 3 paralel grep işleminin ayrı çekirdeklerde veya dişlerde çalıştırılması sonucunu elde eden (paralelin kendisi tarafından belirlendiği gibi, -j3'ün isteğe bağlı olduğunu da düşünün, ancak bu örnekte öğretici amaçlar için verilmiştir).

Paralelin daha yeni bir sürümü şu şekilde elde edilebilir:

wget http://ftpmirror.gnu.org/parallel/parallel-20131022.tar.bz2

Sonra her zamanki paketten çıkarın, cd to parallel- {date}, ./configure && make, sudo make install. Bu paralel, man sayfa paralel ve man sayfa parallel_tutorial'ı yükleyecektir.

İşte Perl'de bir tane:

./app | perl -ne 'BEGIN {open(FDA, ">A.out") and 
                         open(FDB, ">B.out") and 
                         open(FDC, ">C.out") or die("Cannot open files: $!\n")} 
                  print FDA $_ if /A/; print FDB $_ if /B/; print FDC $_ if /C/'

sed -ne/A/w\ A.out -e/B/w\ B.out -e/C/p <in >C.out

... <inokunabilirse, üç dosya da bir şey yazılmadan önce kesilir.