Bir dosyanın tüm satırlarının benzersiz olup olmadığını kontrol edin

Böyle satırları içeren bir metin dosyası var:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Her çizginin benzersizliğinden nasıl emin olabilirim?

NOT: Amaç dosyayı sınamaktır, yinelenen satırlar varsa dosyayı değiştirmektir.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Awk çözümü:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

sort/ Kullanarak uniq:

sort input.txt | uniq

Yalnızca yinelenen satırları kontrol etmek -diçin uniq seçeneğini kullanın . Bu yalnızca yinelenen satırları gösterir, hiçbiri yoksa hiçbir şey göstermez:

sort input.txt | uniq -d

TLDR

Orijinal soru belirsizdi ve OP'nin sadece bir dosyanın içeriğinin benzersiz bir sürümünü istediğini okuyun. Aşağıda gösterilmiştir. Sorunun güncelleştirilmiş biçiminde, OP şimdi dosyanın içeriğinin benzersiz olup olmadığını bilmek istediğini belirtiyor.

Dosyanın içeriğinin benzersiz olup olmadığını test edin

sortBir dosyanın benzersiz olup olmadığını veya bunun gibi kopyaları içerdiğini doğrulamak için kullanabilirsiniz :

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Misal

Diyelim ki bu iki dosyam var:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Şimdi bu dosyaları analiz ettiğimizde benzersiz olduklarını veya kopyalarını içerdiğini söyleyebiliriz:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Orijinal soru (dosyanın benzersiz içeriği)

Sadece aşağıdakilerle yapılabilir sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Ben genellikle sortdosyayı, daha sonra uniqyinelenenlerin sayısını saymak için kullanın , sonra bir sortkez daha listenin altındaki yinelenenleri görüyorum.

Verdiğiniz örneklere bir kopya ekledim:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Adam sayfasını bir uniqsüredir okumadığım için , alternatifleri hızlıca inceledim. Aşağıdakileri, yalnızca kopyaları görmek istiyorsanız, ikinci sıralama gereksinimini ortadan kaldırır:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Kopya yoksa, tüm satırlar benzersizdir:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Açıklama: Yinelenen satırları ardışık yapmak için dosya satırlarını sıralayın (sıralayın)
Eşit olan tüm ardışık satırları ayıklayın (uniq -d).
Yukarıdaki komutun ( [...]) çıktısı varsa , ( &&) bir mesaj yazdırın.

Bu bir Perl cevabı olmadan tamamlanmayacaktı!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Bu, benzersiz olmayan her satırı bir kez yazdırır: bu nedenle hiçbir şey yazdırmazsa, dosyanın tüm benzersiz satırları vardır.

Kullanılması cmpve sortiçinde bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

veya

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Bu, kabul edilen cevap gibi dosyayı iki kez sıralar.