RE hatası: Mac OS X'te geçersiz bayt sırası

İOS'a çapraz derleme için Mac OS X'te Makefile'de bir dizeyi değiştirmeye çalışıyorum. Dizede çift tırnak işareti bulunur. Komut:

sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

Ve hata:

sed: RE error: illegal byte sequence

Ben çift tırnak, virgül, tire ve iki nokta üst üste sevinç olmadan kaçmayı denedim. Örneğin:

sed -i "" 's|\"iphoneos-cross\"\,\"llvm-gcc\:\-O3|\"iphoneos-cross\"\,\"clang\:\-Os|g' Configure

Sorunu ayıklamak için zaman geçiriyorum. Herkes sedyasadışı bayt sırasının konumunu yazdırmak için nasıl bilebilir ? Yoksa yasadışı bayt dizisinin ne olduğunu bilen var mı?

^{Belirti gösteren bir örnek komut: sed 's/./@/' <<<$'\xfc'başarısız olur, çünkü bayt 0xfcgeçerli bir UTF-8 karakteri değildir.
Bunun tersine, GNU'nun sed (Linux, ancak macOS'a da yüklenebilir) bir hata bildirmeden geçersiz baytı ilettiğini unutmayın.}

Daha önce kabul edilen cevabı kullanmak, gerçek yerel ayarınız için destek kaybetmemeniz durumunda bir seçenektir (bir ABD sistemindeyseniz ve asla yabancı karakterlerle uğraşmanız gerekmiyorsa, bu iyi olabilir.)

Ancak, aynı etki yalnızca tek bir komut için geçici olabilir :

LC_ALL=C sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

Not: Önemli olan bir olan etkili LC_CTYPE ayarı C, bu nedenle LC_CTYPE=C sed ...olur normalde eğer ayrıca iş, ama LC_ALL(dışında bir set olur C), bireysel geçersiz kılar LC_*gibi -Kategoriler değişkenleri LC_CTYPE. Böylece, en sağlam yaklaşım ortaya koymaktır LC_ALL.

Ancak, (etkili) ayarı LC_CTYPEiçin Cdavranır dizeleri her bayt olsaydı kendi karakter olarak ( hayır ile kodlama kurallara dayalı yorumlama yapılır), hiçbir konuda için - multibyte-on-demand - UTF-8 kodlama OS X varsayılan olarak istihdam ettiğini burada yabancı karakterlerin çok baytlı kodlamaları vardır .

Özetle: ayar LC_CTYPEiçinC nedenler sadece temel İngilizce harfleri harfleri (7 bitlik ASCII aralığında olanlar) tanımak kabuk ve yardımcı programları, böylece yabancı karakter. harf olarak değerlendirilmez ve örneğin büyük / küçük harf dönüşümlerinin başarısız olmasına neden olur.

Yine, gibi çok baytlı kodlanmış karakterlerle eşleşmeniz gerekmiyorsa éve bu karakterleri iletmek istiyorsanız bu iyi olabilir .

Bu yetersizse ve / veya orijinal hatanın nedenini (soruna hangi girdi baytlarının neden olduğunu belirleme dahil) anlamak ve talep üzerine kodlama dönüşümleri gerçekleştirmek istiyorsanız , aşağıda okuyun .

Sorun, girdi dosyasının kodlamasının kabuğunkiyle eşleşmemesidir.
Daha spesifik olarak, girdi dosyası UTF-8'de geçerli olmayan bir şekilde kodlanmış karakterler içerir (bir açıklamada @Klas Lindbäck belirtildiği gibi) - sedhata mesajının söylemeye çalıştığı şey budur invalid byte sequence.

Büyük olasılıkla, giriş dosyası kullanır kodlayan tek bayt 8-bit gibi ISO-8859-1sık kodlamak "Batı Avrupa" dil için kullanılabilir.

Misal:

Aksanlı harf àUnicode kod noktasına 0xE0(224) sahiptir - ile aynıdır ISO-8859-1. Bununla birlikte, doğası gereği , UTF-8 kodlama bu tek kod noktası olarak temsil edilir 2 bayt - 0xC3 0xA0, geçmeye çalışırken ise tek bir bayt 0xE0 olup , geçersiz UTF-8 markası altında.

Aşağıda , bir bayt olarak temsil edilen ( bayt oluşturmak için kullanılan bir ANSI-C-alıntılı bash dizesi ( ) aracılığıyla) olarak kodlanan dizeyi kullanan sorunun bir gösterimi verilmiştir :voilàISO-8859-1à$'...'\x{e0}

O Not sedkomut sadece içinden girişini geçer no-op etkin bir, ama biz o hatayı kışkırtmak gerekir:

  # -> 'illegal byte sequence': byte 0xE0 is not a valid char.
sed 's/.*/&/' <<<$'voil\x{e0}'

Sorunu basitçe göz ardı etmek için yukarıdaki LCTYPE=Cyaklaşım kullanılabilir:

  # No error, bytes are passed through ('á' will render as '?', though).
LC_CTYPE=C sed 's/.*/&/' <<<$'voil\x{e0}'

Sorunun hangi bölümlerin soruna neden olduğunu belirlemek istiyorsanız aşağıdakileri deneyin:

  # Convert bytes in the 8-bit range (high bit set) to hex. representation.
  # -> 'voil\x{e0}'
iconv -f ASCII --byte-subst='\x{%02x}' <<<$'voil\x{e0}'

Çıktı, onaltılı biçimde yüksek bit ayarlı (7 bit ASCII aralığını aşan bayt) tüm baytları gösterir. (Bununla birlikte, bunun doğru şekilde kodlanmış UTF-8 çok baytlı dizileri de içerdiğine dikkat edin - UTF-8 baytında geçersiz olanları özel olarak tanımlamak için daha karmaşık bir yaklaşıma ihtiyaç duyulacaktır.)

İstek üzerine kodlama dönüşümleri gerçekleştirme :

Standart yardımcı program iconv( -t) ve / veya ( -f) kodlamalarına dönüştürmek için kullanılabilir ; iconv -ldesteklenenlerin tümünü listeler.

Örnekler:

Dönüştüğünde ISO-8859-1(göre kabuğu etkisi kodlama LC_CTYPEolup, UTF-8yukarıdaki örnek üzerine inşa varsayılan tabanlı):

  # Converts to UTF-8; output renders correctly as 'voilà'
sed 's/.*/&/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

Bu dönüşümün yabancı karakterleri doğru şekilde eşleştirmenize izin verdiğini unutmayın :

  # Correctly matches 'à' and replaces it with 'ü': -> 'voilü'
sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

ISO-8859-1İşlemden sonra BACK girişini dönüştürmek için sonucu başka bir iconvkomuta yönlendirmeniz yeterlidir :

sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')" | iconv -t ISO-8859-1

Aşağıdaki satırları dosyalarınıza ~/.bash_profileveya ~/.zshrcdosyalarınıza ekleyin .

export LC_CTYPE=C 
export LANG=C

Geçici çözüm Perl kullanıyordum:

find . -type f -print0 | xargs -0 perl -pi -e 's/was/now/g'

mklement0'ın cevabı harika, ama bazı küçük ayarlamalar var.

bashKullanırken kodlamasını açıkça belirtmek iyi bir fikir gibi görünüyor iconv. Ayrıca, bayt sırası işareti ( unicode standardı bunu önermese de) başına eklemeliyiz çünkü UTF-8 ile ASCII arasında bayt sırası işareti olmadan meşru karışıklıklar olabilir . Maalesef, iconvaçıkça bir endianness ( UTF-16BEveya UTF-16LE) belirttiğinizde bir bayt sırası işareti önüne geçmez , bu nedenle UTF-16platforma özgü endianness kullanan ve daha sonra kullanılan file --mime-encodinggerçek endiannessi keşfetmek için kullanmamız gerekir iconv.

(Tüm kodlamalarımı büyük harflerle yazıyorum çünkü iconvdesteklenen tüm kodlamaları listelediğinizde iconv -lhepsi büyük harf.)

# Find out MY_FILE's encoding
# We'll convert back to this at the end
FILE_ENCODING="$( file --brief --mime-encoding MY_FILE )"
# Find out bash's encoding, with which we should encode
# MY_FILE so sed doesn't fail with 
# sed: RE error: illegal byte sequence
BASH_ENCODING="$( locale charmap | tr [:lower:] [:upper:] )"
# Convert to UTF-16 (unknown endianness) so iconv ensures
# we have a byte-order mark
iconv -f "$FILE_ENCODING" -t UTF-16 MY_FILE > MY_FILE.utf16_encoding
# Whether we're using UTF-16BE or UTF-16LE
UTF16_ENCODING="$( file --brief --mime-encoding MY_FILE.utf16_encoding )"
# Now we can use MY_FILE.bash_encoding with sed
iconv -f "$UTF16_ENCODING" -t "$BASH_ENCODING" MY_FILE.utf16_encoding > MY_FILE.bash_encoding
# sed!
sed 's/.*/&/' MY_FILE.bash_encoding > MY_FILE_SEDDED.bash_encoding
# now convert MY_FILE_SEDDED.bash_encoding back to its original encoding
iconv -f "$BASH_ENCODING" -t "$FILE_ENCODING" MY_FILE_SEDDED.bash_encoding > MY_FILE_SEDDED
# Now MY_FILE_SEDDED has been processed by sed, and is in the same encoding as MY_FILE

Sed komutundan önce bir iconv komutu vermeniz yeterlidir . Ex file.txt girişi ile:

iconv -f ISO-8859-1 -t UTF8-MAC dosya.txt | sed 's / bir şey / àéèêçùû / g' | .....

-f seçeneği 'from' kod kümesi ve -t seçeneği 'to' kod kümesi dönüşümüdür.

Davanın özen, web sayfaları genellikle böyle küçük harfli göstermek <charset = iso-8859-1" /> ve iconv büyük harf kullanır. Sen listesi var iconv sende komutuyla sistemi desteklenen codesets iconv -l

UTF8-MAC dönüşüm için modern OS Mac kod kümesidir.

Herkes yasadışı bayt dizisinin konumunu yazdırmak için sed almak için nasıl biliyor mu? Yoksa yasadışı bayt dizisinin ne olduğunu bilen var mı?

$ uname -a
Darwin Adams-iMac 18.7.0 Darwin Kernel Version 18.7.0: Tue Aug 20 16:57:14 PDT 2019; root:xnu-4903.271.2~2/RELEASE_X86_64 x86_64

Yukarıdakileri sadece kullanarak cevaplamanın yolunu buldum tr .

Kredi kartı ekstresi olan bir .csv dosyam var ve bunu Gnucash'a aktarmaya çalışıyorum. İsviçre'de yaşıyorum, bu yüzden Zürih gibi kelimelerle uğraşmak zorundayım. Şüphelendiğiniz Gnucash sayısal alanlarda "" gibi değil, sadece hepsini değiştirmeye karar verdim

; ;

ile

;;

İşte gidiyor:

$ head -3 Auswertungen.csv | tail -1 | sed -e 's/; ;/;;/g'
sed: RE error: illegal byte sequence

Biraz ışık saçmak için od kullandım : 374 bu od -c çıkışının yarısına

$ head -3 Auswertungen.csv | tail -1 | od -c
0000000    1   6   8   7       9   6   1   9       7   1   2   2   ;   5
0000020    4   6   8       8   7   X   X       X   X   X   X       2   6
0000040    6   0   ;   M   Y       N   A   M   E       I   S   X   ;   1
0000060    4   .   0   2   .   2   0   1   9   ;   9   5   5   2       -
0000100        M   i   t   a   r   b   e   i   t   e   r   r   e   s   t
0000120                Z 374   r   i   c   h                            
0000140    C   H   E   ;   R   e   s   t   a   u   r   a   n   t   s   ,
0000160        B   a   r   s   ;   6   .   2   0   ;   C   H   F   ;    
0000200    ;   C   H   F   ;   6   .   2   0   ;       ;   1   5   .   0
0000220    2   .   2   0   1   9  \n                                    
0000227

Sonra ben tr ikna etmeye çalışacağımı düşündüm doğru bayt kodu ne olursa olsun 374 yerine . İlk önce basit bir şey denedim, ki bu işe yaramadı, ama bana zahmetli baytın nerede olduğunu göstermenin yan etkisi vardı:

$ head -3 Auswertungen.csv | tail -1 | tr . .  ; echo
tr: Illegal byte sequence
1687 9619 7122;5468 87XX XXXX 2660;MY NAME ISX;14.02.2019;9552 - Mitarbeiterrest   Z

Görebilirsin 374 karakterinde tr kefaletlerini .

Perl kullanmak bu sorunu önlüyor gibi görünüyor

$ head -3 Auswertungen.csv | tail -1 | perl -pne 's/; ;/;;/g'
1687 9619 7122;5468 87XX XXXX 2660;ADAM NEALIS;14.02.2019;9552 - Mitarbeiterrest   Z?rich       CHE;Restaurants, Bars;6.20;CHF;;CHF;6.20;;15.02.2019

Benim geçici çözüm GNU kullanıyordum sed. Benim için iyi çalıştı.