Bir iş akışından (dosya) tüm ASCII olmayan karakterleri kaldırma

Ascii olmayan tüm karakterleri bir dosyadan nasıl kaldırabilirim? Bunu gerçekleştirmek için belirli bir komut var mı?

grep --colour='auto' -P -n'[^\x00-\x7]' /usr/local/...

Bunun iş akışı içindeki karakterleri bulduğuna inanıyorum, ancak söz konusu karakterlerin tüm örneklerini nasıl kaldırabilirim?

ASCII karakterleri, 0 ile 177 (sekizli) arasında değişen karakterlerdir .

Bir dosyada bu aralığın dışındaki karakterleri silmek için

LC_ALL=C tr -dc '\0-\177' <file >newfile

trKomut bir karakter çalışan bir araçtır ya da silme ya da bir tek karakteri aynı karakter silsileleri sıkıştırılması, diğer tek karakterler (çevirisi) ile ikame edilerek,.

Yukarıdaki komut filedeğiştirilen içeriği okuyacak ve yazacaktı newfile. -dSeçeneği tryarar silme karakterler (yerine onları transliterating arasında) yapar ve -cbunun verilen aralık (yerine içinin) dışında karakterleri dikkate yapar.

LC_ALL=Cher bayt değerinin geçerli bir karakter oluşturduğundan emin olur. Bu olmadan tr, yerel uygulamanın karakter kodlamasında geçerli karakterler oluşturmayan bayt dizileri bulduklarında bazı uygulamalar iptal olur.

Orijinal dosyayı değiştirilmiş olanla değiştirmek için şunu kullanın:

LC_ALL=C tr -dc '\0-\177' <file >newfile &&
mv newfile file

Bu trbaşarıyla tamamlandıktan sonra yeni dosyayı eski dosyanın adını yeniden adlandırır . Eğer trbaşarıyla tamamlanmaz orijinal dosyayı okuyamaz veya yeni bir dosyaya yazamadı çünkü ya, orijinal dosya değişmeden kalır.

Alternatif olarak, orijinal dosyanın meta verilerini (izinler vb.) Mümkün olduğunca korumak için şunu kullanın:

cp file tmpfile &&
LC_ALL=C tr -dc '\0-\177' <tmpfile >file &&
rm tmpfile

İle perl

perl -pi -e 's/[^[:ascii:]]//g'

Tek ihtiyacınız olan bir normal ifade ise: [\x00-\x7F]birkaç yardımcı programa başvurabileceğiniz:

<file LC_ALL=C   sed   's/[^\o0-\o177]//g'      # GNU sed without POSIXLY_CORRECT
<file LC_ALL=C   awk   '{gsub(/[^\0-\177]/,"");print}'
<file            perl  -pe 's/[^[:ascii:]]//g;'
<file LC_ALL=C   tr    -dc '\0-\177'

Sed, awk ve perl'in Unix'te tanımlandığı gibi "metin dosyaları" beklediğini anlayın. Bu durumda hepsi iyi çalışıyor. Ancak özellikle awk, yeni bir satır ekler (kaynak dosyada var olsun ya da olmasın) (printf kullanarak girişteki TÜM yeni satırları kaldırır). Tr, herhangi bir dosya türüyle çalışacak şekilde tasarlanmıştır. Ancak, NUL ( \0) bir POSIX metin dosyasında geçerli bir karakter değildir ve bundan kaçınılmalıdır:

Satırlar NUL karakter içermiyor ...

Aslında, birçok kontrol karakteri bazı özel koşullar altında başka sorunlar yaratacaktır.
Yani, muhtemelen ihtiyacın var[\x07-\x0d\x20-\x7e]

<file LC_ALL=C   sed   's/[^\o007-\o015\o040-\o176]//g'            # GNU sed without POSIXLY_CORRECT
<file LC_ALL=C   awk   '{gsub(/[^\0-\15\40-\176]/,"");print}'
<file            perl  -pe 's/[^\x{7}-\x{d}\x{20}-\x{7e}]//g;'
<file LC_ALL=C   tr    -dc '\7-\15\40-\176'

7-13 aralığı (ondalık olarak) \a\b\t\n\v\f\r(sırayla).
Benzer (muhtemelen daha taşınabilir) bir aralık [^[:space:][:print:]] (similar because it doesn't include\ a \ b` --bell ve backspace--) olarak yazılabilir .

<file LC_ALL=C   sed   's/[^[:space:][:print:]]//g'  # GNU sed without POSIXLY_CORRECT
<file LC_ALL=C   awk   '{gsub(/[^[:space:][:print:]]/,"");print}'
<file            perl   -pe 's/[^[:space:][:print:]]//g;'
<file LC_ALL=C   tr     -dc '[:space:][:print:]'

İlgili:
Herhangi bir ASCII karakteri
Perl çözümü
Posix Metin Dosyası