Benzersiz satırları nasıl bulabilirim ve tüm kopyaları bir dosyadan nasıl kaldırabilirim? Giriş dosyam

1
1
2
3
5
5
7
7

Sonucun şöyle olmasını isterim:

2
3

sort file | uniqişi yapmayacak. Tüm değerleri 1 kez gösterecek

uniq ihtiyacınız olan seçeneğe sahiptir:

   -u, --unique
          only print unique lines

$ cat file.txt
1
1
2
3
5
5
7
7
$ uniq -u file.txt
2
3

Aşağıdaki gibi kullanın:

sort < filea | uniq > fileb

Ayrıca cat, borulama yoluyla komutu kullanarak "dosya" daki benzersiz değeri yazdırabilirsiniz sortveuniq

cat file | sort | uniq -u

uniq -u işe yaramadığı için beni deli ediyor.

Bunun yerine, python'unuz varsa (çoğu Linux dağıtımında ve sunucusunda zaten vardır):

NotUnique.txt dosyasında veri dosyasına sahip olduğunuzu varsayarsak

#Python
#Assuming file has data on different lines
#Otherwise fix split() accordingly.

uniqueData = []
fileData = open('notUnique.txt').read().split('\n')

for i in fileData:
  if i.strip()!='':
    uniqueData.append(i)

print uniqueData

###Another option (less keystrokes):
set(open('notUnique.txt').read().split('\n'))

Boş satırlar nedeniyle, son kümenin '' veya yalnızca boşluk dizeleri içerebileceğini unutmayın. Bunu daha sonra kaldırabilirsiniz. Veya terminalden kopyalama yapmaktan kurtulun;)

Bilginize, uniq Man sayfasından:

"Not: 'uniq', bitişik olmadıkları sürece yinelenen satırları algılamaz. Önce girdiyi sıralamak isteyebilir veya 'uniq' olmadan 'sort -u' kullanabilirsiniz. Ayrıca, karşılaştırmalar 'LC_COLLATE' ile belirtilen kuralları dikkate alır."

İle çağırmanın doğru yollarından biri: # sort nonUnique.txt | uniq

Örnek çalışma:

$ cat x
3
1
2
2
2
3
1
3

$ uniq x
3
1
2
3
1
3

$ uniq -u x
3
1
3
1
3

$ sort x | uniq
1
2
3

Boşluklar basılabilir, bu yüzden hazırlıklı olun!

sortO (n log (n)) zaman alırken , kullanmayı tercih ediyorum

awk '!seen[$0]++'

awk '!seen[$0]++'sıfır awk '!seen[$0]++ {print}'değilse baskı satırı (= $ 0) için bir kısaltmadır seen[$0]. Daha fazla yer kaplar ama yalnızca O (n) zamanı.

kullanabilirsiniz:

sort data.txt| uniq -u

bu verileri sıralayın ve benzersiz değerlere göre filtreleyin

uniq -u < file işi yapacak.

uniqDosyanız sıralanabiliyorsa iyi yapmalısınız, herhangi bir nedenle dosyayı sıralayamıyorsanız kullanabilirsiniz awk:

awk '{a[$0]++}END{for(i in a)if(a[i]<2)print i}'

sort -d "file name" | uniq -u

bu benim için benzer bir şey için çalıştı. Düzenlenmemişse bunu kullanın. Düzenlenmişse sıralamayı kaldırabilirsiniz

Bunu daha kolay buluyorum.

sort -u input_filename > output_filename

-u benzersiz anlamına gelir.

Bu denediğim ilk şeydi

skilla:~# uniq -u all.sorted  

76679787
76679787 
76794979
76794979 
76869286
76869286 
......

Bir kedi yaptıktan sonra -e all.sorted

skilla:~# cat -e all.sorted 
$
76679787$
76679787 $
76701427$
76701427$
76794979$
76794979 $
76869286$
76869286 $

Her ikinci satırın sonunda bir boşluk vardır :( Tüm sondaki boşlukları kaldırdıktan sonra işe yaradı!

teşekkür ederim