Bir metin dosyasının ilk satırını bash / sed komut dosyasını kullanarak nasıl kaldırabilirim?

Tekrar tekrar bir bash komut dosyası kullanarak büyük bir metin dosyasından ilk satırı kaldırmak gerekiyor.

Şu anda kullanıyorum sed -i -e "1d" $FILE- ama silme işlemini yapmak yaklaşık bir dakika sürüyor.

Bunu başarmanın daha etkili bir yolu var mı?

Kuyruğu deneyin :

tail -n +2 "$FILE"

-n x: Sadece son xsatırları yazdır . tail -n 5girişin son 5 satırını verir. +Terslendiğine işareti tür argümanı ve makyaj tailbaskı şey ama ilk x-1satır. tail -n +1bütün dosyayı basar,tail -n +2 ilk satır dışındaki her şeyi, vb.

GNU tailçok daha hızlı sed. tailBSD'de de mevcuttur ve -n +2bayrak her iki araçta da tutarlıdır. FreeBSD veya OS X'i kontrol edinDaha fazla bilgi kılavuz sayfalarına bakın.

Yine de BSD sürümü çok daha yavaş olabilir sed. Bunu nasıl başardıklarını merak ediyorum; tailbir dosyayı satır satır okumalı sed, bir komut dosyasının yorumlanmasını, düzenli ifadelerin ve benzerinin uygulanmasını içeren oldukça karmaşık işlemler yapmalıdır .

Not: Kullanmak isteyebilirsiniz

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

ancak bu size boş bir dosya verir . Bunun nedeni, yeniden yönlendirme ( >) yönteminin daha önce tailgerçekleşmesi kabuk tarafından çağrılmasıdır:

1. Kabuk dosyası kesiyor $FILE
2. Shell, tail
3. Kabuk, tailişlemin stdout'unu$FILE
4. tail artık boş olandan okuyor $FILE

Dosyanın içindeki ilk satırı kaldırmak istiyorsanız şunu kullanmalısınız:

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

&&Bir sorun olduğunda dosyanın üzerine almaz sağlayacaktır.

'>' Operatörünü kullanmadan dosyayı güncellemek için -i kullanabilirsiniz. Aşağıdaki komut ilk satırı dosyadan siler ve dosyaya kaydeder.

sed -i '1d' filename

SunOS üzerinde olan ve GNU olmayanlar için aşağıdaki kod yardımcı olacaktır:

sed '1d' test.dat > tmp.dat 

Hayır, bu elde edeceğiniz kadar verimli. İşi biraz daha hızlı yapabilen bir C programı yazabilirsiniz (daha az başlangıç ​​zamanı ve işleme argümanları), ancak dosyalar büyük olduğunda sed ile aynı hıza yönelir (ve bir dakika alırsa büyük olduklarını varsayarım) ).

Ancak sorunuz, çözümü önceden varsaydığı için diğer birçok problemle aynı sorundan muzdariptir. Bize nasıl yapmak yerine ne yapmaya çalıştığınızı ayrıntılı olarak anlatırsanız , daha iyi bir seçenek önerebiliriz.

Örneğin, bu, başka bir program B'nin işlediği bir A dosyasıysa, bir çözüm ilk satırı çıkarmamak, ancak B programını farklı şekilde işlemek için değiştirmek olacaktır.

Tüm programlarınızın bu A dosyasına eklendiğini ve B programının şu anda ilk satırı silmeden önce okuduğunu ve işlediğini varsayalım.

B programını yeniden tasarlayabilir, böylece ilk satırı silmeye çalışmaz, ancak A dosyasına kalıcı (muhtemelen dosya tabanlı) bir ofset tutar, böylece bir dahaki sefer çalıştığında, bu ofseti, işlemi arayabilir. ve hatta ofseti güncelleyin.

Daha sonra, sessiz bir zamanda (gece yarısı?), İşlenen tüm satırları silmek ve ofseti 0'a ayarlamak için A dosyasının özel olarak işlenmesi gerekebilir.

Bir programın açmak ve yeniden yazmak yerine bir dosyayı açıp araması kesinlikle daha hızlı olacaktır. Bu tartışma, elbette B programı üzerinde kontrolünüz olduğunu varsayar. Durumun bu olup olmadığını bilmiyorum ama daha fazla bilgi verirseniz başka olası çözümler de olabilir.

Sen edebilirsiniz yerinde dosyaları düzenlemek: Hemen kullanım perl -ibayrağını böyle:

perl -ni -e 'print unless $. == 1' filename.txt

Bu, istediğiniz gibi ilk satırı kaybolur. Perl dosyasının tamamını okuması ve kopyalaması gerekir, ancak çıktının orijinal dosyanın adı altında kaydedilmesini sağlar.

Bunu aşağıdakilerle kolayca yapabilirsiniz:

cat filename | sed 1d > filename_without_first_line

komut satırında; veya bir dosyanın ilk satırını kalıcı olarak kaldırmak için -ibayrağın yerinde mod modunu kullanın :

sed -i 1d <filename>

Pax'ın dediği gibi, muhtemelen bundan daha hızlı olmayacaksınız. Bunun nedeni, dosyanın başlangıcından itibaren kesmeyi destekleyen neredeyse hiç dosya sistemi bulunmamasıdır, bu nedenle bu, dosyanın boyutu olan bir O ( n) işlemi olacaktır n. Daha hızlı yapabileceğiniz şey , ilk satırın üzerine tam olarak ne yapmaya çalıştığınıza (bu arada ne var?) Bağlı olarak çalışabilecek aynı sayıda baytla (belki boşluk veya yorumla) üzerine yazılmasıdır.

spongeUtil geçici bir dosya hokkabazlık ihtiyacını ortadan kaldırır:

tail -n +2 "$FILE" | sponge "$FILE"

Eğer bir yerde dosyayı değiştirmek isterseniz, her zaman orijinal kullanabilirsiniz edbunun yerine bir s treaming halefi sed:

ed "$FILE" <<<$'1d\nwq\n'

edHatta çok daha az grafiksel iş istasyonları tam ekran terminalleri vardı önce komut, orijinal UNIX metin editörü oldu. exEditör, iyi yazarak kolon istemi in'de kullanmakta olduğunuz olarak bilinen vi, bir olan eski bir eğiliminde versiyonu edaynı komutlar işin çok. edEtkileşimli olarak kullanılması amaçlanmakla birlikte , bu çözümün yaptığı bir komut dizisi göndererek toplu modda da kullanılabilir.

Sekansı, <<<$'1d\nwq\n'burada dizgileri için (Bash desteği yararlanır <<<() ve POSIX tırnak $'... 'besleme girişine) ed: iki hat oluşan komut 1d, d eletes çizgi 1 , ve sonra wq, bu ağırlık ortaya ayin dosya geri ardından q düzenleme oturumuna uyar.

ilk satır dışındaki satırları göstermelidir:

cat textfile.txt | tail -n +2

Bunu yapmak için vim kullanabilirsiniz:

vim -u NONE +'1d' +'wq!' /tmp/test.txt

Vim işlem sırasında tüm dosyayı okumadığından bu daha hızlı olmalıdır.

Csplit kullanmaya ne dersiniz?

man csplit
csplit -k file 1 '{1}'

Silme işlemini hızlandıramayacağım gibi göründüğünden, iyi bir yaklaşımın dosyayı aşağıdaki gibi toplu işlemek olabileceğini düşünüyorum:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

Bunun dezavantajı, program ortada öldürülürse (veya orada kötü bir sql varsa - "işlem" kısmının ölmesine veya kilitlenmesine neden olursa), atlanan veya iki kez işlenen çizgiler olacaktır. .

(dosya1 sql kodu satırlarını içerir)

Yapmak istediğiniz şey başarısızlıktan sonra kurtarmaksa, şu ana kadar yaptığınız şeyi içeren bir dosya oluşturabilirsiniz.

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

Bu bir astar şunları yapacaktır:

echo "$(tail -n +2 "$FILE")" > "$FILE"

Çalışır, çünkü taildaha önce yürütülür echove daha sonra dosyanın kilidi açılır, bu nedenle geçici bir dosyaya gerek yoktur.

N-1 satırlarında kuyruk kullanmak ve bunu bir dosyaya yönlendirmek, ardından eski dosyayı kaldırmak ve yeni dosyayı eski isimle yeniden adlandırmak iş yapar mı?

Ben bu programlı yapıyordum, ben dosya üzerinden okumak ve her satır okuduktan sonra dosya ofset hatırlıyorum, bu yüzden içinde daha az bir çizgi ile dosyayı okumak için bu konuma geri arayabilir.