sed tam dosya sisteminde yerinde satır silme?

Henüz teşhis edilmemiş bir uygulama hatası nedeniyle, tam diske sahip birkaç yüz sunucum var. Yinelenen satırlarla doldurulmuş bir dosya var - bir günlük dosyası değil, değişken tanımları olan bir kullanıcı ortamı dosyası (bu yüzden sadece dosyayı silemiyorum).

sedHatalı eklenen satırları kontrol etmek ve silmek için basit bir komut yazdım ve dosyanın yerel bir kopyasında test ettim. Amaçlandığı gibi çalıştı.

Ancak, tam disk ile sunucuda denediğimde, yaklaşık olarak aşağıdaki hatayı aldım (hafızadan değil, kopyalayıp yapıştırmadan):

sed: couldn't flush /path/to/file/sed8923ABC: No space left on deviceServerHostname

Tabii ki boş yer kaldığını biliyorum . Bu yüzden bir şeyler silmeye çalışıyorum! (Kullandığım sedkomut 4000+ satır dosyasını yaklaşık 90 satıra indirecektir.)

Benim sedemrim sadecesed -i '/myregex/d' /path/to/file/filename

Tam diske rağmen bu komutu uygulayabilmemin bir yolu var mı?

(Otomatikleştirilmelidir, çünkü hızlı bir şekilde birkaç yüz sunucuya uygulamam gerekir.)

_{(Açıkçası uygulama hatası teşhis edilmesi gerekiyor, ancak bu arada sunucular düzgün çalışmıyor ....)}

Güncelleme: Karşılaştığım durum, silebildiğimi öğrendiğim başka bir şeyi silerek çözüldü, ancak yine de gelecekte ve diğer insanlar için yararlı olacak bu sorunun cevabını istiyorum .

/tmphareketsizdir; aynı dosya sisteminde.

Disk alanını boşaltmadan önce vi, dosyayı açıp çalıştırarak satırları silebildiğimi test ettim :g/myregex/dve değişiklikleri başarıyla kaydettim :wq. Geçici bir dosyayı tutmak için ayrı bir dosya sistemine başvurmadan bunu otomatikleştirmek mümkün görünmektedir .... (?)

Bu -iseçenek orijinal dosyanın üzerine yazmaz. Çıktı ile yeni bir dosya oluşturur, ardından orijinal dosya adına yeniden adlandırır. Bu yeni dosya için dosya sisteminde yer olmadığından başarısız olur.

Bunu kendiniz betiğinizde yapmanız gerekir, ancak yeni dosyayı farklı bir dosya sisteminde oluşturmanız gerekir.

Ayrıca, yalnızca normal ifadeyle eşleşen satırları siliyorsanız grepbunun yerine kullanabilirsiniz sed.

grep -v 'myregex' /path/to/filename > /tmp/filename && mv /tmp/filename /path/to/filename

Genel olarak, programların giriş ve çıkışlarla aynı dosyayı kullanması nadiren mümkündür - dosyaya yazmaya başlar başlamaz, programın dosyadan okuyan kısmı artık orijinal içeriği görmez. Bu yüzden önce orijinal dosyayı bir yere kopyalamalı veya yeni bir dosyaya yazmalı ve bittiğinde yeniden adlandırmalıdır.

Geçici bir dosya kullanmak istemiyorsanız, dosya içeriğini bellekteki önbelleğe almayı deneyebilirsiniz:

file=$(< /path/to/filename)
echo "$file" | grep -v 'myregex' > /path/to/filename

İşte böyle sedçalışır. -i(Yerinde düzenleme) ile kullanılırsa sed, işlenen dosyanın yeni içeriğiyle geçici bir dosya oluşturur. Tamamlandığında sed, geçerli çalışma dosyasını geçici olanla değiştirir. Yardımcı program dosyayı yerinde düzenlemez . Her editörün davranışı budur.

Aşağıdaki görevi bir kabukta yaptığınız gibi:

sed 'whatever' file >tmp_file
mv tmp_file file

Bu noktada sed, fflush()sistem çağrısı ile hata mesajında ​​belirtilen dosyaya arabelleğe alınan verileri temizlemeye çalışır :

Çıktı akışları fflush()için, akışın temeldeki yazma işlevi aracılığıyla belirli bir çıktı veya güncelleme akışı için tüm kullanıcı alanı tamponlu verilerinin yazılmasını zorlar.

Sorununuz için, ayrı bir dosya sistemi (örneğin tmpfs, yeterli belleğiniz veya harici bir depolama aygıtınız varsa) montajında ​​bir çözüm görüyorum ve bazı dosyaları oraya taşıyın, orada işleyin ve geri taşıyın.

Bu soruyu gönderdikten sonra exPOSIX uyumlu bir program olduğunu öğrendim . Neredeyse evrensel olarak bağlandı vim, ancak her iki durumda da, (sanırım) exdosya sistemleriyle ilgili (POSIX belirtiminden alınmıştır ) önemli bir nokta :

Bu bölüm , geçerli çalışan metni tanımlamak için düzenleme arabelleği terimini kullanır . Bu terim belirli bir uygulamayı ima etmez. Tüm düzenleme değişiklikleri, düzenleme arabelleğinde gerçekleştirilir ve herhangi bir değişiklik, bir editör komutu dosyayı yazana kadar herhangi bir dosyayı etkilemez.

"... herhangi bir dosyayı etkileyecektir ..." Dosya sistemine bir şey (hiç geçici bir dosya bile) koymanın " herhangi bir dosyayı etkileme " olarak değerlendireceğine inanıyorum. Olabilir?*

POSIX spesifikasyonlarınınex dikkatli bir şekilde araştırılması, exçevrimiçi olarak bulunan ( vim-özel komutlarla doludur ) yaygın olarak kullanılan komut dosyası kullanımlarıyla karşılaştırıldığında, amaçlanan taşınabilir kullanımı hakkında bazı "gotchas" ı gösterir .

1. POSIX'e +cmdgöre uygulama isteğe bağlıdır.
2. Birden fazla -cseçeneğe izin vermek de isteğe bağlıdır.
3. Global komut, :gher şeyi bir sonraki kaçamayan yeni satıra kadar "yiyor" (ve bu nedenle, sonunda bir kez değil, normal ifade için bulunan her maçtan sonra çalıştırıyor). Bu nedenle, -c 'g/regex/d | x'yalnızca bir örneği siler ve ardından dosyadan çıkar.

Araştırdıklarıma göre, belirli bir normal ifadeyle eşleşen tüm satırları silmek için tam dosya sistemindeki bir dosyayı yerinde düzenlemek için POSIX uyumlu yöntem:

ex -sc 'g/myregex/d
x' /path/to/file/filename

Bu, dosyayı bir tampona yüklemek için yeterli belleğe sahip olmanız koşuluyla çalışmalıdır.

_{* Aksi gösteren bir şey bulursanız, lütfen yorumlarda belirtin.}

Boruyu kullan, Luke!

Dosyayı oku | filtre | cevap yazmak

sed 's/PATTERN//' BIGFILE | dd of=BIGFILE conv=notrunc

bu durumda sedyeni bir dosya oluşturmaz ve sadece aynı dosyayıdd açan çıktı çıktısı gönderir . Tabii ki özel durumlardagrep

grep -v 'PATTERN' BIGFILE | dd of=BIGFILE conv=notrunc

Daha sonra kesik kalmıştır.

dd if=/dev/null of=BIGFILE seek=1 bs=BYTES_OF_SED_OUTPUT

Diğer yanıtlarda belirtildiği gibi sed -i, dosyayı aynı dizinde yeni bir dosyaya kopyalayarak , işlemde değişiklikler yaparak ve ardından yeni dosyayı orijinalin üzerine taşıyarak çalışır. Bu yüzden işe yaramıyor.  ed(orijinal çizgi editörü) biraz benzer bir şekilde çalışır, ancak son kontrol ettiğimde /tmp, çizik dosyası için kullanır . Bilgisayarınız /tmpdolu olandan farklı bir dosya sistemindeyse ed, işi sizin için yapabilir.

Bunu deneyin (etkileşimli kabuk isteminizde):

$ ed / path / to / file / dosyaadı
P
g / myregex / d
w
q

P(A hangi sermaye P) kesinlikle gerekli değildir. İstemi açar; Onsuz, karanlıkta çalışıyorsunuz ve bazı insanlar bunu rahatsız ediyor. wVe qvardır ağırlık usül ve q uit.

edşifreli teşhis için kötü şöhretlidir. Herhangi bir noktada o (ki istemi olduğunu başka bir şey gösteriyorsa *açıkça başarılı operasyon (bir teyidi olduğunu) ya da bir şey özellikle bir içeriyorsa ?,) yok (dosyayı yazma w). Sadece çıkın ( q). Sizi dışarı çıkarmazsa, qtekrar söylemeyi deneyin .

Senin Eğer /tmpdizin dolu bir dosya sisteminde (kendi dosya sistemi de, doluysa veya), biraz boşluk bir yere bulmaya çalışın. bir tmpfs veya bir harici depolama aygıtı (örneğin, bir flash sürücü) monte edilmesinde belirtilen kaos; ancak, birden fazla dosya sisteminiz varsa ve bunların tamamı dolu değilse , diğer mevcut sistemlerden birini kullanabilirsiniz. chaos, dosya (lar) ı diğer dosya sistemine sedkopyalamanızı, orada (ile ) düzenlemenizi ve sonra tekrar kopyalamanızı önerir . Bu noktada, bu en basit çözüm olabilir. Ancak bir alternatif, boş alanı olan bir dosya sisteminde yazılabilir bir dizin oluşturmak, ortam değişkenini TMPDIRbu dizine işaret edecek şekilde ayarlamak ve daha sonra çalıştırmak olabilir ed. (Açıklama: Bunun işe yarayıp yaramayacağından emin değilim, ama incinemez.)

edÇalışmaya başladıktan sonra , bunu otomatikleştirebilirsiniz.

ed dosya adı << EOF
g / myregex / d
w
q
EOF

bir senaryoda. Veya , don_crissti tarafından önerildiği gibi.printf '%s\n' 'g/myregex/d' w q | ed -s filename

Ofsetinize bayt sayısını alabiliyorsanız ve satırlarınız bir başlangıç ​​noktasından sonuna kadar olursa, dosyayı oldukça kolay bir şekilde kısaltabilirsiniz.

o=$(sed -ne'/regex/q;p' <file|wc -c)
dd if=/dev/null of=file bs="$o" seek=1

Veya başka bir ${TMPDIR:-/tmp}dosya sistemindeyseniz:

{   cut -c2- | sed "$script" >file
} <file <<FILE
$(paste /dev/null -)
FILE

Çünkü (çoğu) mermiler burada belgelerini silinmiş bir geçici dosyaya koyarlar. <<FILETanımlayıcı başlangıçtan bitişe kadar korunduğu ve ${TMPDIR:-/tmp}ihtiyaç duyduğunuz kadar alana sahip olduğu sürece mükemmel güvenlidir .

Geçici dosyaları kullanmayan kabuklar boru kullanır ve bu nedenle bu şekilde kullanmak güvenli değildir. Bu kabuklar, tipik olarak ashbenzeri türevleri busybox, dashBSD sh- zsh, bash, kshve Bourne kabuğu, bununla birlikte, bütün kullanım geçici dosyaları.

Görünüşe göre geçen Temmuz'da böyle bir şey yapmak için küçük bir kabuk programı yazdım

Eğer /tmpçok uzun gibi hafıza şey dosyayı sığabilecek kadar sonra, canlı değil ...

sed 'H;$!d;x' <file | { read v &&
sed "$script" >file;}

... genel bir durum olarak, sediçeri / dışarı dosyasını kısaltmaya çalışmadan önce en azından dosyanın ilk işlem tarafından tamamen arabelleğe alınmasını sağlar .

Daha hedefli ve verimli bir çözüm şöyle olabilir:

sed '/regex/!H;$!d;x' <file|{ read v && cat >file;}

... çünkü yine de silmek istediğiniz tamponlama hatlarını rahatsız etmeyecekti.

Genel davanın testi:

{   nums=/tmp/nums
    seq 1000000 >$nums
    ls -lh "$nums"
    wc -l  "$nums"
    sed 'H;$!d;x' <$nums | { read script &&  ### read always gets a blank
    sed "$script" >$nums;}
    wc -l  "$nums"
    ls -lh "$nums"
}

-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums
1000000 /tmp/nums
1000000 /tmp/nums
-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums

Bu yanıt, bu diğer yanıttan ve bu diğer yanıttan fikirler alır, ancak bunlara dayanarak daha genel olarak uygulanabilir bir yanıt oluşturur:

num_bytes = $ (sed '/ myregex / d' / yol / dosya / dosya / dosya adı | wc -c)
sed '/ myregex / d' / yol / dosya / dosya / dosya adı 1 <> / yol / dosya / dosya / dosyaadı 
dd = / dev / = / yol / to / dosya / dosyaadı bs = "$ num_bytes" araması = 1

İlk satır, sedkomutu standart çıktıya yazılan komutla çalıştırır (bir dosyaya değil); özellikle, wckarakterleri saymak için bir boruya . İkinci satır ayrıca sed, standart çıktıya yazılan çıktı ile komutu çalıştırır, bu durumda burada tartışılan okuma / yazma üzerine yazma (kesme yok) modunda giriş dosyasına yönlendirilir . Bu biraz tehlikeli bir şey; yalnızca filtre komutu asla veri miktarını (metin) artırmazsa güvenlidir ; yani okuduğu her n bayt için n veya daha az bayt yazar . Bu, elbette, sed '/myregex/d'komut için doğrudur ; okuduğu her satır için aynı satırı yazar ya da hiçbir şey yazmaz. (Diğer örnekler:s/foo/fu/veya s/foo/bar/güvenli olurdu ama s/fu/foo/ve s/foo/foobar/olmaz.)

Örneğin:

$ cat filename
It was
a dark and stormy night.
$ sed '/was/d' filename 1<> filename
$ cat filename
a dark and stormy night.
night.

çünkü bu 32 bayt veri:

I  t     w  a  s \n  a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

şu 25 karakterle üzerine yazılmıştır:

a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

sonunda yedi bayt night.\nkaldı.

Son olarak, ddkomut yeni, temizlenmiş verilerin (bu örnekte bayt 25) sonuna kadar gider ve dosyanın geri kalanını kaldırır; yani, dosyayı bu noktada keser.

Herhangi bir nedenle, 1<>hile işe yaramazsa,

sed '/ myregex / d' / yol / dosya / dosya / dosya adı | = / yol / dosya / dosya / dosya adının gg = notrunc

Ayrıca, yaptığınız tek şey çizgileri kaldırmak olduğu sürece, tek ihtiyacınız olanıngrep -v myregex ( Barmar tarafından işaret edildiği gibi ) olduğunu unutmayın.

sed -i 'd' / yol / dosya / dosya / dosya adı