Tüm dosya satırlarının farklı dosyada olup olmadığını kontrol edin

İki dosyam var: yaklaşık 1000 satırlı dosya1 ve birkaç yüz satırlı dosya2. Dosya2'deki tüm dosya satırlarının dosya1'de olup olmadığını kontrol etmek istiyorum. Yani: ∀ satır ℓ ∈ dosya2: ℓ ∈ dosya1

Bu sembollerin ne anlama geldiğini veya "dosya1'deki tüm dosya2 satırlarının olup olmadığını kontrol edin" ne anlama geldiğini bilmiyorsa: Dosyalardan herhangi birinin eşdeğer satırları, denetimin dosyaların gereksinimi karşılayıp karşılamadığını etkilemez.

Bunu nasıl yaparım?

comm -13 <(sort -u file_1) <(sort -u file_2)

Bu komut, benzersiz satırlar çıkarır file_2. Dolayısıyla, çıktı boşsa, tüm file_2satırlar file_1.

Comm'nun adamından:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Dosya1 dosyasındaki (benzersiz satırları) dosya2'deki eşleşme sayısı dosya2'deki benzersiz satırların sayısı ile aynıysa, hepsi oradadır; aksi halde değildirler.

GNU'nun awkbelirli bir length(array)özelliği (ve destekleyebilecek başka bir awkuygulamayı) desteklediği yerlerde kullanmak ve dosyalar sıralanırsa gerekli değildir.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Bu, file2'yiseen , dosya2'nin tüm satırı olarak anahtarla adlandırılan bir diziye okuyor .

Ardından file1'i okuyun ve görülen satırdaki çizgilerle eşleşirse her bir satır için o anahtarı silin.

Sonunda dizisi boş vasıtaları tüm satırları ise file2 mevcut Dosya1 ve yazdırılacaktır Matchedaksi görüntüler, Not Matched.

Tüm awkuygulamalarda uyumluluk için .

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Boş satırları / veya beyaz boşluklu satırları yalnızca dosya2'deyken yoksaymak için , diziye okumayı atlamak NFiçin koşulunu eklemeniz gerekir NR==FNR && NF {....

commBunu kullanarak her iki dosyada da ortak olan satırları bulabilirsiniz.

comm -12 file1 file2

man commDaha fazla ayrıntı için bir göz atın

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

eğer herhangi bir çıktı üretecek file1içeren tüm satırları içinde file2ve statü ile çıkış 0aksi takdirde böyle bir şey yazdırır,

Files /proc/self/fd/11 and /proc/self/fd/12 differ

ve durumla çıkış 1

Bir Python programı kullanın:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Kullanımı:

python3 contains-all.py file2 file1

Program çıkış durumu, 2. dosyadaki tüm kalıpların eşleşip eşleşmediğini gösterir:

• 0 (başarı) tüm kalıpların eşleştiği anlamına gelir.
• 1 (başarısızlık) bazı kalıpların eşleşmediği anlamına gelir.

Kabuktaki (komut dosyasında) çıkış durumunu sorgulamak için $?özel değişkeni veya komut çıkış durumunu değerlendiren diğer ifadeleri kullanabilirsiniz , örneğin kısa devre operatörleri &&ve veya ||gibi koşullu ifadeler . Misal:ifwhile

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combinedan moreutils size tüm satırları gösterecektir içinde file2o olmayan file1ile:

combine file2 not file1

Ardından, boru sayısını şu şekilde borulandırarak sayabilirsiniz wc -l:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi