İki dosyada ortak olan satırları bulmak için Unix komutu

Eminim bir keresinde iki veya daha fazla dosyadan ortak satırları yazdırabilecek bir unix komutu buldum, kimse adını biliyor mu? Bundan çok daha basitti diff.

Aradığın komut comm. Örneğin:-

comm -12 1.sorted.txt 2.sorted.txt

Buraya:

-1 : sütun 1'i bastırma (1.sorted.txt'ye özgü satırlar)

-2 : sütun 2'yi bastırma (2.sorted.txt'ye özgü satırlar)

Comm komutunu sıralanmamış dosyalara kolayca uygulamak için Bash'in işlem değiştirmesini kullanın :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Yani abc ve def dosyalarının ortak bir satırı, "132" olanı vardır. Sıralanmamış dosyalarda comm özelliğini kullanma :

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

Son satır çıktı üretmedi, ortak satır keşfedilmedi.

Şimdi sıralı dosyalar üzerinde comm kullanın , dosyaları işlem ikamesi ile sıralayın:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Şimdi 132 hattı var!

Perl tek astarını tamamlamak için awkeşdeğeri:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Bu işlem file1, diziden tüm satırları okur arr[]ve sonra file2dizinin (ör. file1) İçinde zaten var olup olmadığını kontrol eder . Bulunan çizgiler, göründükleri sırayla yazdırılır file2. Karşılaştırmanın dizinden diziye kadar in arrtüm satırı kullandığını file2, bu nedenle yalnızca tüm satırlardaki tam eşleşmeleri rapor edeceğini unutmayın.

Belki mi demek istiyorsun comm?

Sıralanan FILE1 ve FILE2 dosyalarını satır satır karşılaştırır.

Seçenek olmadan üç sütunlu çıktı üretin. Birinci sütun FILE1'e özgü satırlar, ikinci sütun FILE2'ye özgü satırlar ve üçüncü sütun her iki dosya için ortak satırlar içerir.

Bu bilgileri bulmanın sırrı bilgi sayfalarıdır. GNU programları için, sayfalarından çok daha ayrıntılıdırlar. Deneyin info coreutilsve size tüm küçük faydalı araçları listeleyecektir.

Süre

grep -v -f 1.txt 2.txt > 3.txt

size iki dosya arasındaki farkları verir (2.txt'de ve 1.txt'de değil), kolayca

grep -f 1.txt 2.txt > 3.txt

Sorununuza kolay bir çözüm sunması gereken tüm ortak satırları toplamak için. Dosyalarınızı sıraladıysanız, commyine de almanız gerekir . Saygılarımızla!

İki dosya henüz sıralanmamışsa aşağıdakileri kullanabilirsiniz:

comm -12 <(sort a.txt) <(sort b.txt)

ve hata mesajı kaçınarak çalışacaktır comm: file 2 is not in sorted order yaparken comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Linux'un sınırlı sürümünde (üzerinde çalıştığım bir QNAP (nas) gibi):

• iletişim yoktu
• grep -f file1 file2@ChristopherSchultz tarafından söylendiği gibi bazı sorunlara neden olabilir ve grep -F -f file1 file2kullanımı gerçekten yavaştı (5 dakikadan fazla - bitmedi - 20MB üzerindeki dosyalarda aşağıdaki yöntemle 2-3 saniyeden fazla)

İşte yaptığım şey:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

files.same.sortedOrijinal ile aynı sırada olacaksa , bu satırı dosya1 ile aynı sipariş için ekleyin:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

veya dosya2 ile aynı sipariş için:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Birisi hala birden fazla dosya için bunun nasıl yapılacağını araştırıyorsa, birçok dosyada eşleşen satırları bulma ile ilgili cevaba bakın .

Bu iki yanıtı ( ans1 ve ans2 ) birleştirerek , dosyaları sıralamaksızın ihtiyacınız olan sonucu elde edebileceğinizi düşünüyorum:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Sadece kaydedin, yürütme haklarını verin ( chmod +x compareFiles.sh) ve çalıştırın. Geçerli çalışma dizininde bulunan tüm dosyaları alır ve "matching_lines" dosyasında sonuç bırakarak bir all-vs-all karşılaştırması yapar.

Geliştirilecek şeyler:

• Dizinleri atla
• Tüm dosyaları iki kez karşılaştırmaktan kaçının (dosya1'e karşı dosya2 ve dosya2'ye karşı dosya1).
• Eşleşen dizenin yanına satır numarasını ekleyin

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Bunu yapmalı.