Metin dosyaları çıkarmak için unix aracı?

Büyük bir tablo şeklinde noktalı virgülle ayrılmış metin alanlarından oluşan büyük bir dosya var. Sıralandı. Aynı metin alanlarından oluşan daha küçük bir dosyam var. Bir noktada, birisi bu dosyayı başkalarıyla birleştirdi ve daha sonra yukarıda açıklanan büyük dosyayı oluşturmak için bir sıralama yaptı. Küçük dosyanın satırlarını büyük olandan çıkarmak istiyorum (yani küçük dosyadaki her satır için, büyük dosyada eşleşen bir dize varsa, büyük dosyadaki bu satırı silin).

Dosya kabaca şöyle

GenericClass1; 1; 2; NA; 3; 4;
GenericClass1; 5; 6; NA; 7; 8;
GenericClass2; 1; 5; NA; 3; 8;
GenericClass2; 2; 6; NA; 4; 1;

vb

Bunu yapmanın hızlı ve şık bir yolu var mı yoksa awk kullanmak zorunda mıyım?

Kullanabilirsiniz grep. Küçük dosyayı giriş olarak verin ve eşleşmeyen satırlar bulmasını söyleyin:

grep -vxFf file.txt bigfile.txt > newbigfile.txt

Kullanılan seçenekler:

   -F, --fixed-strings
          Interpret PATTERN as a  list  of  fixed  strings,  separated  by
          newlines,  any  of  which is to be matched.  (-F is specified by
          POSIX.)
   -f FILE, --file=FILE
          Obtain  patterns  from  FILE,  one  per  line.   The  empty file
          contains zero patterns, and therefore matches nothing.   (-f  is
          specified by POSIX.)

   -v, --invert-match
          Invert the sense of matching, to select non-matching lines.  (-v
          is specified by POSIX.)
   -x, --line-regexp
          Select only those matches that exactly match the whole line.  
          (-x is specified by POSIX.)

comm senin arkadaşın:

NAME comm - iki sıralı dosyayı satır satır karşılaştır

SYNOPSIS comm [OPTION] ... DOSYA1 DOSYA2

AÇIKLAMA Sıralı dosyaları FILE1 ve FILE2 satır satır karşılaştırır.

   With  no  options, produce three-column output.  Column one contains lines unique to FILE1, column two contains
   lines unique to FILE2, and column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

( sıralamayı hesaba kattığı için commmuhtemelen bir performans avantajı olacaktır grep.)

Örneğin:

comm -1 -3 file.txt bigfile.txt > newbigfile.txt