UnicodeDecodeError: 'ascii' codec bileşeni, konum 1'deki bayt 0xef kodunu çözemiyor

Bir dizeyi UTF-8 olarak kodlamaya çalışırken birkaç sorun yaşıyorum. Kullandığım dahil çok sayıda şeyleri, denedim string.encode('utf-8')ve unicode(string)ama hata alıyorum:

UnicodeDecodeError: 'ascii' codec bileşeni, 1 konumundaki bayt 0xef kodunu çözemiyor: ordinal aralıkta değil (128)

Bu benim dizim:

(｡･ω･｡)ﾉ

Neyin yanlış gittiğini anlamıyorum, herhangi bir fikriniz var mı?

Düzenleme: Sorun, dizeyi olduğu gibi yazdırmanın düzgün gösterilmemesidir. Ayrıca, dönüştürmeye çalıştığımda bu hata:

Python 2.7.1+ (r271:86832, Apr 11 2011, 18:13:53)
[GCC 4.5.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-5: ordinal not in range(128)

Bu, terminalinizin kodlamasının UTF-8 olarak ayarlanmaması ile ilgilidir. İşte benim terminalim

$ echo $LANG
en_GB.UTF-8
$ python
Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
(｡･ω･｡)ﾉ
>>> 

Terminalimde örnek yukarıdakiyle çalışır, ancak LANGayardan kurtulursam işe yaramaz

$ unset LANG
$ python
Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-5: ordinal not in range(128)
>>> 

Bu değişikliği nasıl kalıcı hale getireceğinizi keşfetmek için linux varyantınızın belgelerine bakın.

Deneyin:

string.decode('utf-8')  # or:
unicode(string, 'utf-8')

Düzenle:

'(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'.decode('utf-8')u'(\uff61\uff65\u03c9\uff65\uff61)\uff89'doğru olan verir .

yani probleminiz başka bir yerde olmalı, muhtemelen onunla bir şey yapmaya çalışırsanız, örtük bir dönüşüm devam ediyordu (yazdırmak, bir akışa yazmak olabilir ...)

daha fazlasını söylemek için biraz kod görmemiz gerekecek.

Benim +1 mata'nın https://stackoverflow.com/a/10561979/1346705 adresindeki yorumuna ve Nick Craig-Wood'un gösterisine. Dizenin kodunu doğru bir şekilde çözdünüz. Sorun, printUnicode dizesini konsol kodlamasına dönüştüren komutla ilgilidir ve konsol dizeyi görüntüleyemez. Dizeyi bir dosyaya yazmaya çalışın ve Unicode'u destekleyen iyi bir düzenleyici kullanarak sonuca bakın:

import codecs

s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
s1 = s.decode('utf-8')
f = codecs.open('out.txt', 'w', encoding='utf-8')
f.write(s1)
f.close()

O zaman göreceksin (｡･ω･｡)ﾉ.

Eğer bir çalışıyorsanız uzak konak bakmak /etc/ssh/ssh_configiçin üzerine lokal PC.

Bu dosya bir satır içerdiğinde:

SendEnv LANG LC_*

#satır başına ekleyerek yorum yapın . O yardımcı olabilir.

Bu satırla, sshbilgisayarınızın dil ile ilgili ortam değişkenlerini uzaktaki ana bilgisayara gönderir . Çok fazla soruna neden olur .

Sistemin varsayılan kodlamasını utf-8komut dosyasının başlangıcında olduğu gibi ayarlamayı deneyin , böylece tüm dizeler bunu kullanarak kodlanır.

# coding: utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Andrei Krasutski'nin önerdiği gibi, senaryonuzun üst kısmında aşağıdaki kodu kullanmanız sorun değil .

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

Ama # -*- coding: utf-8 -*senaryonun en üstüne de satır eklemenizi tavsiye edeceğim .

Atlamak, yürütmeye çalıştığımda benim durumumda aşağıdaki hatayı atıyor basic.py.

$ python basic.py
  File "01_basic.py", line 14
SyntaxError: Non-ASCII character '\xd9' in file basic.py on line 14, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

Aşağıdaki, basic.pyyukarıdaki hatayı atan mevcut koddur .

hatalı kod

from pylatex import Document, Section, Subsection, Command, Package
from pylatex.utils import italic, NoEscape

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def fill_document(doc):
    with doc.create(Section('ِش سثؤفهخى')):
        doc.append('إخع ساخعمي شمصشغس سحثشن فاث فقعفا')
        doc.append(italic('فشمهؤ ؤخىفثىفس شقث شمسخ ىهؤث'))

        with doc.create(Subsection('آثص ٍعلاسثؤفهخى')):
            doc.append('بشةخعس ؤقشئغ ؤاشقشؤفثقس: $&#{}')


if __name__ == '__main__':
    # Basic document
    doc = Document('basic')
    fill_document(doc)

Sonra # -*- coding: utf-8 -*-en üstüne satır ekledim ve çalıştırdım. İşe yaradı.

hatasız kod

# -*- coding: utf-8 -*-
from pylatex import Document, Section, Subsection, Command, Package
from pylatex.utils import italic, NoEscape

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def fill_document(doc):
    with doc.create(Section('ِش سثؤفهخى')):
        doc.append('إخع ساخعمي شمصشغس سحثشن فاث فقعفا')
        doc.append(italic('فشمهؤ ؤخىفثىفس شقث شمسخ ىهؤث'))

        with doc.create(Subsection('آثص ٍعلاسثؤفهخى')):
            doc.append('بشةخعس ؤقشئغ ؤاشقشؤفثقس: $&#{}')


if __name__ == '__main__':
    # Basic document
    doc = Document('basic')
    fill_document(doc)

Teşekkürler.

Terminalimle sorun yok. Yukarıdaki cevaplar doğru yönlere bakmama yardımcı oldu, ancak şunu ekleyene kadar benim için işe yaramadı 'ignore':

fix_encoding = lambda s: s.decode('utf8', 'ignore')

Aşağıdaki yorumda belirtildiği gibi, bu istenmeyen sonuçlara yol açabilir. OTOH, aynı zamanda işlerin yürümesini sağlayacak kadar iyi bir iş çıkarabilir ve bazı karakterleri kaybetmeyi umursamıyorsunuz.

bu, ubuntu 15.10 için çalışır:

sudo locale-gen "en_US.UTF-8"
sudo dpkg-reconfigure locales

Dizeniz kodlanmış gibi görünüyor utf-8, peki sorun tam olarak nedir? Ya da burada ne yapmaya çalışıyorsun ..?

Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> s = '(\xef\xbd\xa1\xef\xbd\xa5\xcf\x89\xef\xbd\xa5\xef\xbd\xa1)\xef\xbe\x89'
>>> s1 = s.decode('utf-8')
>>> print s1
(｡･ω･｡)ﾉ
>>> s2 = u'(｡･ω･｡)ﾉ'
>>> s2 == s1
True
>>> s2
u'(\uff61\uff65\u03c9\uff65\uff61)\uff89'

Benim durumumda, bunun nedeni Unicode dosyamın bir "BOM" ile kaydedilmesiydi. Bunu çözmek için BBEdit kullanarak dosyayı kırdım ve "Unicode (UTF-8)" kodlamasını seçip "Unicode (UTF-8, BOM ile) olanı değil" Farklı kaydet ... "yaptım. "

Aynı tür bir hata alıyordum ve konsolun dizeyi başka bir dilde görüntüleyemediğini fark ettim. Bu nedenle, default_charset'i UTF-8 olarak ayarlamak için aşağıdaki kod değişikliklerini yaptım.

data_head = [('\x81\xa1\x8fo\x89\xef\x82\xa2\x95\xdb\x8f\xd8\x90\xa7\x93x\x81\xcb3\x8c\x8e\x8cp\x91\xb1\x92\x86(\x81\x86\x81\xde\x81\x85)\x81\xa1\x8f\x89\x89\xf1\x88\xc8\x8aO\x81A\x82\xa8\x8b\xe0\x82\xcc\x90S\x94z\x82\xcd\x88\xea\x90\xd8\x95s\x97v\x81\xa1\x83}\x83b\x83v\x82\xcc\x82\xa8\x8e\x8e\x82\xb5\x95\xdb\x8c\xaf\x82\xc5\x8fo\x89\xef\x82\xa2\x8am\x92\xe8\x81\xa1', 'shift_jis')]
default_charset = 'UTF-8' #can also try 'ascii' or other unicode type
print ''.join([ unicode(lin[0], lin[1] or default_charset) for lin in data_head ])

En iyi cevap bu: https://stackoverflow.com/a/4027726/2159089

linux'ta:

export PYTHONIOENCODING=utf-8

sys.stdout.encodingTamam da öyle .

BOM, benim için çok sık BOM

vi dosyayı kullanın

:set nobomb

ve kaydedin. Bu neredeyse her zaman benim durumumda düzeltir

Ascii olmayan karakterler içeren URL'lerde de aynı hatayı aldım (değerleri> 128 olan baytlar)

url = url.decode('utf8').encode('utf-8')

Benim için çalıştı, Python 2.7'de, bu atamanın strdahili gösterimde 'bir şeyi' değiştirdiğini düşünüyorum - yani, desteklenen bayt dizisinin doğru kod çözülmesini zorlar urlve sonunda dizeyi tüm sihirle bir utf-8'e koyar str. Doğru yer. Python'daki Unicode benim için kara büyüdür. Yararlı umut

Bu sorunu settings.py dosyasında değiştirerek 'ENGINE': 'django.db.backends.mysql' ile çözüyorum, 'ENGINE' kullanmayın: 'mysql.connector.django',

Kullanarak metni açıkça dizeye dönüştürün str(). Benim için çalıştı.