UnicodeDecodeError: 'utf8' codec bileşeni bayt 0x9c kodunu çözemiyor

İstemcilerden UTF-8 geçerli karakterleri almak gerekiyordu bir soket sunucusu var.

Sorun şu ki, bazı istemciler (özellikle bilgisayar korsanları) tüm yanlış türde verileri gönderiyor.

Orijinal istemciyi kolayca ayırt edebilirim, ancak daha sonra analiz edebilmek için gönderilen tüm verileri dosyalara kaydediyorum.

Bazen hataya œneden olan böyle karakterler UnicodeDecodeErroralıyorum.

Bu karakterler ile veya bu karakter olmadan dize UTF-8 yapabilmek gerekir.

Güncelleme:

Benim özel durum için soket hizmeti bir MTA oldu ve bu nedenle sadece gibi ASCII komutları almak için bekliyoruz:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Tüm bunları JSON'da kaydediyordum.

Sonra iyi niyetli olmayan bazı insanlar her türlü çöpü satmaya karar verdiler.

Bu yüzden özel durumum için ASCII olmayan karakterleri soymak mükemmel bir şekilde tamam.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

veya

str = unicode(str, errors='ignore')

Not: Bu, dizeyi onlar olmadan döndüren söz konusu karakterleri çıkarır (yok sayar).

Benim için ideal bir durum çünkü benim uygulama tarafından izin verilmeyen ASCII olmayan girişe karşı koruma olarak kullanıyorum.

Alternatif olarak:codecs Dosyada okumak için modülün open yöntemini kullanın :

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Motoru C'den Python'a değiştirmek benim için hile yaptı.

Motor C:

pd.read_csv(gdp_path, sep='\t', engine='c')

'utf-8' kodeki 18 konumunda bayt 0x92 kodunu çözemiyor: geçersiz başlangıç ​​baytı

Motor Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Benim için hata yok.

Python 3'e taşındığım için bu tür bir sorun benim için kesiliyor.

Yukarıdakilerin hiçbiri benim için işe yaramadığında farklılıkların ve nasıl bir çözüm bulunacağının bu güzel açıklamasını buldum.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

Kısacası, Python 3'ün Python 2 ile mümkün olduğunca benzer davranmasını sağlamak için:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Ancak, makaleyi okuyun, tüm çözüme uyan tek bir boyut yoktur.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Ben de aynı sorunu vardı UnicodeDecodeErrorve bu çizgi ile çözdü. En iyi yol olup olmadığını bilmiyorum ama benim için çalıştı.

str = str.decode('unicode_escape').encode('utf-8')

ilk olarak, kodlama dosya türünü almak için get_encoding_type kullanma:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

ikincisi, aşağıdaki türdeki dosyaları açma:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Birisinin aynı sorunu olması durumunda. YouCompleteMe ile vim kullanıyorum , bu hata mesajı ile ycmd başlatılamadı, yaptığım şey:, export LC_CTYPE="en_US.UTF-8"sorun gitti.

Bir dosyada değişiklik yapmanız gerekiyor, ancak dosyanın kodlamasını bilmiyorsanız ne yapabilirsiniz? Kodlamanın ASCII uyumlu olduğunu ve yalnızca ASCII parçalarını incelemek veya değiştirmek istiyorsanız, dosyayı yedek dosya hata işleyicisiyle açabilirsiniz:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Bu sorunu sadece ekleyerek çözdüm

df = pd.read_csv(fileName,encoding='latin1')