İki büyük dosyanın farkı

"Test1.csv" var ve içeriyor

200,400,600,800
100,300,500,700
50,25,125,310

ve test2.csv ve içeriyor

100,4,2,1,7
200,400,600,800
21,22,23,24,25
50,25,125,310
50,25,700,5

şimdi

diff test2.csv test1.csv > result.csv

farklı

diff test1.csv test2.csv > result.csv

Hangisinin doğru sıra olduğunu bilmiyorum ama başka bir şey istiyorum, yukarıdaki komutların her ikisi de

2 > 100,4,2,1,7
   3 2,3c3,5
   4 < 100,300,500,700
   5 < 50,25,125,310
   6 \ No newline at end of file
   7 ---
   8 > 21,22,23,24,25
   9 > 50,25,125,310

Ben sadece farkı çıktı istiyorum, bu yüzden results.csv böyle görünmelidir

100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Denedim diff -qve diff -sancak hile yapmadım. Düzen önemli değil, önemli olan sadece farkı görmek istiyorum, ne> ne de <veya boşluk.

grep -FvF büyük dosyalar üzerinde değil küçük dosyalar üzerinde hile yaptı

ilk dosya 5 milyondan fazla satır, ikinci dosya 1300'den fazla satır içeriyor.

bu nedenle results.csv ~ 4.998.700 satırla sonuçlanmalıdır

Ben de grep -F -x -v -f hangi işe yaramadı denedim .

Kulağa bir iş gibi geliyor comm:

$ comm -3 <(sort test1.csv) <(sort test2.csv)
100,300,500,700
    100,4,2,1,7
    21,22,23,24,25
    50,25,700,5

Açıklandığı gibi man comm:

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

Böylece, -3yalnızca dosyalardan birine özgü satırlar yazdırılacaktır. Ancak, bunlar içinde bulundukları dosyaya göre girintilidir. Sekmeyi kaldırmak için şunu kullanın:

$ comm -3 <(sort test1.csv) <(sort test2.csv) | tr -d '\t'
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Bu durumda, dosyaları sıralamanıza bile gerek yoktur ve aşağıdakileri basitleştirebilirsiniz:

comm -3 test1.csv test2.csv | tr -d '\t' > difference.csv

Proses ikamesi grepile kullanma bash:

$ cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv)
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Çıkışı şu şekilde kaydetmek için results.csv:

cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv) >results.csv

• <()olduğu bashproses ikame paterni

• grep -vFf test2.csv test1.csv yalnızca benzersiz olan satırları bulacaktır test1.csv

• grep -vFf test1.csv test2.csv yalnızca benzersiz olan satırları bulacaktır test2.csv

• Sonunda sonuçları şöyle özetliyoruz: cat

Veya Oli'nin önerdiği gibi , komut gruplamasını da kullanabilirsiniz:

$ { grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv; }
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Ya da birbiri ardına koşun, her ikisi de STDOUT'a yazdıklarından sonuçta eklenecekler:

$ grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Satırların sırası uygun değilse awkveya tuşlarını kullanın perl:

awk '{seen[$0]++} END {for (i in seen) {if (seen[i] == 1) {print i}}}' 1.csv 2.csv

grepOrtak hatları almak ve bunları filtrelemek için kullanın :

grep -hxvFf <(grep -Fxf 1.csv 2.csv) 1.csv 2.csv

Dahili grep ortak çizgileri alır, ardından harici grep bu ortak çizgilere uymayan çizgiler bulur.

--*-line-format=...Seçeneklerini kullanındiff

diffTam olarak neye ihtiyacınız olduğunu söyleyebilirsiniz - aşağıda açıklanmıştır:

diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' f1.txt f2.txt

Farkın çıktısını bir printfsayı biçimine benzer şekilde çok ayrıntılı bir şekilde belirtmek mümkündür .

İlk dosyadaki test1.csvsatırlara "eski" satırlar, ikinci dosyadaki satırlara test2.csv"yeni" satırlar denir . Bu, diffbir dosyada nelerin değiştiğini görmek için kullanıldığında anlamlıdır .

İhtiyacımız olan seçenekler, "eski" satırların, "yeni" satırların ve "değişmeyen" satırların biçimini ayarlamak içindir.
İhtiyacımız olan biçimler çok basit:
Yeni ve eski olan değişen satırlar için yalnızca satırların metnini çıkarmak istiyoruz. %Lsatır metninin biçim sembolüdür.
Değişmeyen çizgiler için hiçbir şey göstermek istemiyoruz.

Bununla --old-line-format='%L'örnek verilerinizi kullanarak aşağıdaki gibi seçenekler yazabilir ve hepsini bir araya getirebiliriz:

$ diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' test1.csv test2.csv
100,4,2,1,7
100,300,500,700
21,22,23,24,25
50,25,700,5

Performansla ilgili notlar

Dosyalar farklı boyutlara sahip olduğundan, önemli değilse giriş dosyalarını değiştirmeye çalışın, iç işleyişleri diffbirinden diğerinden daha iyi işleyebilir. Daha iyi, daha az bellek veya daha az hesaplama gerektirir.

Kullanmak için bir optimizasyon seçeneği yoktur diffbüyük dosyalar ile: --speed-large-files. Dosya yapısı hakkında varsayımlar kullanır, bu nedenle davanıza yardımcı olup olmadığı açık değildir, ancak denemeye değer.

Biçimi seçenekleri açıklanmaktadır man diffunder --LTYPE-line-format=LFMT.

Siparişin korunması gerekmediğinden, basitçe:

sort test1.csv test2.csv | uniq -u

• sort test1.csv test2.csv: birleşir ve sıralar test1.csvvetest2.csv
• uniq -u: yalnızca kopya olmayan satırları yazdırır