Yeni dosya içeren dizeyi büyük dosyada değiştir

Herkes arama / dizeleri biraz bellek tasarruflu bir şekilde "ikili" için satır tabanlı olmayan bir araç biliyor mu? Bu soruya da bakın .

Ben bunun gibi görünüyor benzer işlemek istiyorum bir + 2GB metin dosyası var:

sed -e 's/>\n/>/g'

Bu, a'dan sonra meydana gelen >ancak başka bir yerde olmayan tüm yeni satırları kaldırmak istediğim için , bu da dışarıda tr -d.

Bu komut ( benzer bir sorunun cevabından aldım ) ile başarısız olur couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Peki, C'ye başvurmadan başka yöntemler var mı? Perl'den nefret ediyorum, ama bu durumda bir istisna yapmaya hazırım :-)

Veride oluşmayan herhangi bir karakterden emin değilim, bu yüzden geçici \nolarak başka bir karakterle değiştirmek mümkünse kaçınmak istediğim bir şey.

İyi fikirleriniz var mı?

Bu gerçekten Perl'de önemsiz, nefret etmemelisin!

perl -i.bak -pe 's/>\n/>/' file

açıklama

• -i: dosyayı yerinde düzenleyin ve çağrılan orijinalin bir yedeğini oluşturun file.bak. Yedek istemiyorsanız perl -i -pebunun yerine kullanın.
• -pe: giriş dosyasını satır satır okuyun ve verilen komut dosyasını uyguladıktan sonra her satırı yazdırın -e.
• s/>\n/>/: oyuncu değişikliği gibi sed.

Ve işte bir awkyaklaşım:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

Bir perlçözüm:

$ perl -pe 's/(?<=>)\n//'

Açıklama

• s/// dize ikamesi için kullanılır.
• (?<=>) göz kamaştırıcı kalıptır.
• \n satırsonu ile eşleşir.

Tüm desen, ondan >önceki tüm yeni satırın kaldırılması anlamına gelir.

Buna ne dersin:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

GNU sed için, soruya göre -u( --unbuffered) seçeneğini eklemeyi de deneyebilirsiniz . GNU sed ayrıca basit bir tek katlı olarak bundan memnun:

sed ':loop />$/ { N; s/\n//; b loop }' file

Kullanılacak gerekir sedile Nkomuta, ama hile desen uzaydan size (başka eklediğiniz her seferinde bir satır silmek olacak böylece model uzay yerine her zaman bütün içinde okumaya çalışmak, sadece 2 ardışık satırları içerdiğini dosyası) - deneyin

sed ':a;$!N;s/>\n/>/;P;D;ba'

DÜZENLEME: Peteris Krumins'in Ünlü Sed One- Liners'ı yeniden okuduktan sonra daha iyi bir sedçözüm olacağına inanıyorum

sed -e :a -e '/>$/N; s/\n//; ta'

Bu, yalnızca >sonunda bir eşleşme yapılması durumunda aşağıdaki satırı ekler ve arka arkaya eşleşen satırların durumunu ele almak için koşullu olarak geri dönmelidir (Krumin'in 39'udur . Bir ters eğik çizgi ile bitiyorsa bir sonrakine bir satır ekleyin. "\" tam olarak ikame haricinde >için \karakter katılmak gibi, ve benzeri) karakter çıkışı tutulur birleştirme olması.

sedson satırsonu olmadan çıktı yaymanın bir yolunu sunmaz. NTemel olarak işe yarar yaklaşımınız çalışır, ancak eksik satırları bellekte depolar ve bu nedenle satırlar çok uzun olursa başarısız olabilir (sed implentasyonları genellikle çok uzun satırları işlemek için tasarlanmamıştır).

Bunun yerine awk kullanabilirsiniz.

awk '{if (/<$/) printf "%s", $0; else print}'

Alternatif bir yaklaşım, tryeni satır karakterini sıkıcı, sık görülen bir karakterle değiştirmek için kullanmaktır . Alan burada işe yarayabilir - verilerinizdeki her satırda veya en azından büyük miktarda satırda görünme eğilimi gösteren bir karakter seçin.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

ed kullanmaya ne dersiniz?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

( http://wiki.bash-hackers.org/howto/edit-ed aracılığıyla )

Gibi bu cevapta açıklandığı gibi gsar kullanarak sona erdi :

gsar -F '-s>:x0A' '-r>'

Bunu yapmanın birçok yolu var ve çoğu burada gerçekten çok iyi, ama bence bu benim favorim:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Ya da:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'