İlk satır hariç, fazladan başlık satırlarını dosyadan kaldır

Bu oyuncak örneğine benzeyen bir dosyam var. Gerçek dosyamda yaklaşık 10 tanesi silmem gereken 4 milyon satır var.

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
ID  Data1  Data2
4    100    100
ID  Data1  Data2
5    200    200

İlk satır hariç, başlık gibi görünen satırları silmek istiyorum.

Son dosya:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Bunu nasıl yapabilirim?

header=$(head -n 1 input)
(printf "%s\n" "$header";
 grep -vFxe "$header" input
) > output

1. başlık satırını girdi dosyasından bir değişkene alın
2. başlığı yazdır
3. grepüstbilgiyle eşleşen satırları atlamak için dosyayı işlemek
4. Yukarıdaki iki adımdan çıktıyı çıktı dosyasına kaydedin

Kullanabilirsiniz

sed '2,${/ID/d;}'

Bu, 2. satırdan başlayarak kimliği olan satırları siler.

Kıvırcık parantezleri sevmeyenler için

sed -e '1n' -e '/^ID/d'

• npasshat numarası anlamına gelir .1
• d ile başlayan tüm eşleşen satırları sil ^ID

İşte eğlenceli bir tane. sedİlk satırın tüm kopyalarını çıkartmak ve diğer her şeyi (ilk satırın kendisi dahil) yerinde bırakmak için doğrudan kullanabilirsiniz .

sed '1{h;n;};G;/^\(.*\)\n\1$/d;s/\n.*$//' input

1{h;n;}ilk satırı bekleme alanına yerleştirir, yazdırır ve sonraki satırda okur sed; ilk satır için komutların geri kalanını atlar . (Ayrıca , ilk 1testin ikinci satır için atlanmasını sağlar , ancak bu testin ikinci satıra uygulanmayacağı için bu önemli değildir.)

G desen alanına bir satırsonu ve ardından tutma alanının içeriği ekler.

/^\(.*\)\n\1$/değer yeni satırdan sonraki kısım (yani, tutma alanından eklenenler) yeni satırdan önceki kısımla tam olarak eşleşiyorsa, desen alanının içeriğini siler (böylece bir sonraki satıra atlar). Burası, başlığı kopyalayan satırların silineceği yerdir.

s/\n.*$//metnin Gkomut tarafından eklenmiş kısmını siler , böylece yazdırılacak dosya yalnızca dosyadaki metin satırı olur.

Bununla birlikte, normal ifade pahalı olduğu için, aynı koşulu kullanmak (olumsuzlanmış) kullanmak ve Peğer yeni satırdan sonraki bölüm (yani, tutma alanından eklenen) bölümle tam olarak eşleşmiyorsa , yeni satıra kadar gitmek için biraz daha hızlı bir yaklaşım olacaktır. satır sonundan önce ve ardından desen alanını koşulsuz olarak silin:

sed '1{h;n;};G;/^\(.*\)\n\1$/!P;d' input

Girdiniz verildiğinde çıktı:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

İlk satırı bilmenizi gerektirmeyen birkaç seçenek daha:

perl -ne 'print unless $_ eq $k; $k=$_ if $.==1; 

-nBayrak olarak her satırı tasarruf onun giriş dosyanın üzerine döngü perl söyler $_. $k=$_ if $.==1;İlk satır (kaydeder $.böylece, satır numarası olduğu $.==1kadar sadece 1 hattı için de geçerli olacak) $k. print unless $k eq $_Baskılar o tek kaydedilmiş aynı değilse geçerli satır $k.

Alternatif olarak, aynı şey awk:

awk '$0!=x;(NR==1){x=$0}' file 

Burada, geçerli satırın değişkene kaydedilenle aynı olup olmadığını test ediyoruz x. Test $0!=xtrue olarak değerlendirilirse (geçerli satır $0ile aynı değilse x), çizgi yazdırılır, çünkü gerçek ifadelerde awk için varsayılan eylem yazdırılır. İlk satır ( NR==1) olarak kaydedilir x. Bu, geçerli satırın eşleşip eşleşmediğini kontrol ettikten sonra yapıldığından x, ilk satırın da yazdırılmasını sağlar.

AWK da bu amaç için oldukça iyi bir araçtır. Örnek kod çalışması:

$ awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt | head -n 10                                
ID  Data1  Data2
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100

Yıkın :

• NR == 1 {print} bize metin dosyasının ilk satırını yazdırmamızı söyler
• NR != 1 && $0!~/ID Data1 Data2/ mantıksal işleç &&AWK'ya 1'e eşit olmayan ve içermeyen bir çizgi yazdırmasını söyler ID Data1 Data2. Parçanın eksikliğine dikkat edin {print}; bir test koşulu doğru olarak değerlendirilirse satır yazdırılacağı varsayılır.
• | head -n 10çıktıyı yalnızca ilk 10 satıra sınırlamak için küçük bir ektir. Parçanın AWKkendisi ile ilgili değildir , sadece demo amaçlı kullanılır.

Bunu bir dosyada istiyorsanız, komutun > newFile.txtsonuna aşağıdaki gibi ekleyerek komutun çıktısını yeniden yönlendirin :

awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > newFile.txt

Nasıl dayanır? Aslında oldukça iyi:

$ time awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > /dev/null                            
    0m3.60s real     0m3.53s user     0m0.06s system

Kenar notu

Oluşturulan örnek dosya, bir ile milyon arasında döngü yapmak ve dosyanızın ilk dört satırını (yani 4 satır çarpı milyon 4 milyon satıra eşittir) yazdırmak için yapıldı.

awk 'BEGIN{ for(i=1;i<=1000000;i++) printf("ID  Data1  Data2\n1    100    100\n     100    200\n3    200    100\n");  }' > rmLines.txt

Awk, herhangi bir başlığa otomatik olarak adapte olma:

awk '( FNR == 1) {header=$0;print $0;}
     ( FNR > 1) && ($0 != header) { print $0;}'  file1  file2 ....

yani, ilk satıra, üstbilgiyi alın ve yazdırın ve daha sonra bu üstbilgiden FARKLI olan satır yazdırılır.

FNR = Geçerli Dosyadaki Kayıt Sayısı, böylece birden fazla dosyaya sahip olabilirsiniz ve her birinde aynı işlemi yapar.

Tamlık uğruna, Perl çözümü IMO @terdon'dan biraz daha zarif verdi:

perl -i -p -e 's/^ID.*$//s if $. > 1' file

Sadece soruyu biraz geriye itmek için ... belki de girdinizin kendisi birkaç TSV dosyasını bir araya getirmenin sonucudur. İşleme kanalınızdaki bir adımı yedekleyebiliyorsanız (bununla ilgileniyorsanız veya bunu yapan kişilerle konuşabiliyorsanız), verileri ilk etapta birleştirmek için başlığa duyarlı bir araç kullanabilir ve böylece fazladan başlık satırlarını kaldırın.

Örneğin, Miller kullanarak :

$ cat f1.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
$ cat f2.tsv
ID  Data1 Data2
4 100 100
$ cat f3.tsv
ID  Data1 Data2
5 200 200

$ cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
ID  Data1 Data2
4 100 100
ID  Data1 Data2
5 200 200

$ mlr --tsvlite cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
4 100 100
5 200 200