Bir metin dosyasının içindeki yinelenen satırlar nasıl kaldırılır?

Çok büyük (en fazla 2 GiB) metin dosyası, içindeki her satırın yaklaşık 100 tam kopyasını içeriyor (benim durumumda, dosya CSV benzeri bir veri tablosu olduğu için işe yaramaz).

İhtiyacım olan, orijinal sıra sırasını koruyarak (tercihen, ancak önemli bir performans artışı için feda edilebilir) tüm tekrarları kaldırmak. Sonuçta her satır benzersiz olmaktır. 100 eşit satır olsaydı (genellikle kopyalar dosyaya yayılır ve komşular olmaz), geriye kalan türden yalnızca biri kalır.

Bunu uygulamak için Scala'da bir program yazdım (Scala'yı bilmiyorsanız Java düşünün). Ama belki daha hızlı yapmak için daha hızlı C-yazılı yerel araçlar vardır?

GÜNCELLEME: awk '!seen[$0]++' filenamedosyalar 2 GiB'ye yakın veya daha küçük olduğu sürece çözüm benim için gayet iyi görünüyordu ancak şimdi bir 8 GiB dosyasını temizleyeceğim için artık çalışmıyor. 4 GiB RAM ve 4 GiB RAM ve 6 GiB takas kullanan 64 bit Windows 7 PC Mac'te sonsuzluk alıyor gibi görünüyor. Ve bu deneyimi verilen 4 GiB RAM ile Linux üzerinde denemek için hevesli hissetmiyorum.

awk#Bash'ta görülen bir çözüm (Freenode):

awk '!seen[$0]++' filename

Çalıştırmak dışında büyük bir bellek gerektirmeyen standart uygulamaları kullanan basit bir yöntem (açıkça söylenmeyen) yöntemi sortvardır; çoğu uygulamada büyük dosyalar için belirli optimizasyonlar vardır (iyi bir harici sıralama algoritması). Bu yöntemin bir avantajı, yalnızca asla yorumlanmış dillerin içinde olmayan, özel amaçlı yardımcı programların içindeki tüm hatların üzerinden geçmesidir.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Tüm satırlar boşluksuz bir karakterle başlıyorsa, bazı seçeneklerden vazgeçebilirsiniz:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Büyük miktarda çoğaltma için, her satırın yalnızca tek bir kopyasının belleğe kaydedilmesini gerektiren bir yöntem daha iyi performans gösterir. Bazı yorumlar ek yüküyle, bunun için çok özlü bir awk senaryosu var (zaten enzotib tarafından gönderildi ):

<input awk '!seen[$0]++'

Daha az net bir şekilde: !seen[$0] {print} {seen[$0] += 1}yani henüz görülmediyse mevcut satırı yazdırın, sonra seenbu satırın sayacını artırın (başlatılmamış değişkenler veya dizi öğeleri sayısal değere sahiptir).

Uzun çizgiler için, her bir satırın yalnızca sahtekar olmayan bir sağlama toplamını (örneğin bir şifreleme özeti) tutarak hafızadan tasarruf edebilirsiniz. Örneğin, SHA-1'i kullanırken, yalnızca satır başına 20 bayt artı sabit bir ek yüke ihtiyacınız var. Ancak bilgi işlem özetleri oldukça yavaştır; bu yöntem yalnızca hızlı bir CPU'nuz varsa (özellikle özetleri hesaplamak için donanım hızlandırıcısına sahip bir tane) ve dosyanın boyutuna ve yeterince uzun satırlara göre çok fazla bellek yoksa kazanır. Hiçbir temel yardımcı program, her satır için bir sağlama toplamı hesaplamanıza izin vermez; tercümanlık Perl / Python / Ruby /… 'nin kontrolüne katlanmak veya özel bir derlenmiş program yazmak zorunda kalırsınız.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Çıktı dosyasının sıralanacağına dikkat edin.

Yinelenen dosyayı bellekte tutmayı göze alabileceğinizi varsayalım (verileriniz gerçekten 100'lük bir faktörle çoğaltılmışsa, yaklaşık 20MiB + yükü olmalıdır), bunu Perl ile kolayca yapabilirsiniz.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Bu da emri korur.

İsterseniz %dupücretsiz bir bonus olarak, dilerseniz her bir satırın oluşum sayısını karma değerinden çıkarabilirsiniz .

İsterseniz awkbunu da yapmalısınız (perl sürümüyle aynı mantık, aynı sıralama, dupdeğişkende toplanan aynı veriler ):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Yerinde destek sağlamayan başka bir cevap olmadığı için, bir cevap:

gawk -i inplace '!a[$0]++' file

Http://www.computerhope.com/unix/uuniq.htm adresini kullanabilirsiniz.uniq

uniq bir dosyadaki tekrarlanan satırları raporlar veya filtreler.

Python One gömlekleri:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Buradaki cevapların hiçbiri Mac'imde işe yaramadı, bu yüzden benim için çalışan basit bir python betiği yazdım. Önde gelen / sondaki boşlukları görmezden geliyorum ve ayrıca bellek tüketimini de umursamıyorum.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Yukarıdakileri unique.py dosyasına kaydedin ve şöyle çalıştırın:

python unique.py inputfile.txt outputfile.txt

Bash 4 ile, ilişkisel dizilerden yararlanan saf-bash çözeltisi kullanılabilir. İşte bir örnek

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt