UnicodeEncodeError: 'latin-1' codec bileşeni karakteri kodlayamıyor


96

Veritabanına yabancı bir karakter eklemeye çalıştığımda bu hataya ne sebep olabilir?

>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)

Ve bunu nasıl çözerim?

Teşekkürler!


40
db = MySQLdb.connect (host = "localhost", user = "root", passwd = "", db = "testdb", use_unicode = True, charset = "utf8")
KyungHoon Kim

vay, @KyungHoonKim hayatımı kurtardın! Yukarı çık!
Florian Doyen

Yanıtlar:


66

Karakter U + 201C Sol Çift Tırnak İşareti Latin-1 (ISO-8859-1) kodlamasında mevcut değildir.

Bu ise kod sayfası 1252 (Batı Avrupa) mevcut. Bu, ISO-8859-1'e dayanan, ancak 0x80-0x9F aralığına fazladan karakterler ekleyen Windows'a özgü bir kodlamadır. 1252 kod sayfası genellikle ISO-8859-1 ile karıştırılır ve bu sinir bozucu ama artık standart bir web tarayıcısı davranışıdır; sayfalarınıza ISO-8859-1 olarak hizmet verirseniz, tarayıcı bunun yerine cp1252 olarak davranacaktır. Ancak, bunlar gerçekten iki farklı kodlamadır:

>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'

Veritabanınızı yalnızca bir bayt deposu olarak kullanıyorsanız , Windows Western kod sayfasında bulunan diğer karakterleri ve kodlamak için cp1252'yi kullanabilirsiniz . Ancak yine de cp1252'de bulunmayan diğer Unicode karakterleri hatalara neden olacaktır.

encode(..., 'ignore')Karakterlerden kurtularak hataları bastırmak için kullanabilirsiniz , ancak gerçekten bu yüzyılda hem veritabanınızda hem de sayfalarınızda UTF-8 kullanıyor olmalısınız. Bu kodlama, herhangi bir karakterin kullanılmasına izin verir. Ayrıca ideal olarak MySQL'e UTF-8 dizelerini kullandığınızı söylemelisiniz (veritabanı bağlantısını ve dize sütunlarında harmanlamayı ayarlayarak), böylelikle büyük / küçük harfe duyarlı olmayan karşılaştırma ve doğru sıralama elde edebilir.


1
cp1252ISO-8859-1'in katı bir üst kümesi değil mi? Yani tarayıcılar bir ISO-8859-1 sayfası aldıklarında, onu CP1252 gibi işleyebilirler çünkü 0x80-0x9Fzaten aralıktan herhangi bir karakter olmayacaktır .
MSalters

3
Hayır, 0x80–0x9F baytlarının ISO-8859-1'de gerçek atamaları vardır ve bu atamalar cp1252'nin eklemeleri tarafından geçersiz kılınır, bu nedenle bu bir üst küme değildir. Kontrol karakterlerinin bir seçimi olan U + 0080 – U + 009F Unicode karakterleriyle tam olarak eşleşirler. Çok fazla kullanılmayan kontrol karakterleridir, bu yüzden tarayıcılar bundan kurtulur, ancak Unicode olarak bayt dizilerini dönüştürmeye çalışırken can sıkıcıdır.
bobince

ISO-8859-1 veya UTF-8 olarak kodlanmış bir dosyada U + 0080-U + 009F aralığındaki karakterleri gördüğüm tek zaman, bazı palyaçoların bazıları cp850'de kodlanmış bir grup dosyayı birleştirmesinden kaynaklandı. ve sonra ortaya çıkan karışıklığın "latin1" den UTF-8'e dönüştürülmesi. Taslak HTML5 spesifikasyonu, bu çok pratik tarayıcı davranışını (ve pek çok benzer durumu) onaylamayı düşünüyor
John Machin,

94

Python MySQLdb modülünü kullanırken aynı sorunla karşılaştım. MySQL, karakter kümesinden bağımsız olarak bir metin alanında istediğiniz herhangi bir ikili veriyi depolamanıza izin vereceğinden, çözümümü burada buldum:

UTF8'i Python MySQLdb ile kullanma

Düzenleme: İlk yorumdaki isteği yerine getirmek için yukarıdaki URL'den alıntı yapın ...

"UnicodeEncodeError: 'latin-1' codec bileşeni karakteri kodlayamıyor ..."

Bunun nedeni, MySQLdb'nin normalde her şeyi latin-1'e kodlamaya çalışmasıdır. Bu, bağlantıyı kurduktan hemen sonra aşağıdaki komutları çalıştırarak düzeltilebilir:

db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')

"db" sonucudur MySQLdb.connect()ve "dbc" sonucudur db.cursor().


1
Bağlantılı bir maddenin ilgili kısmının cevapta verilmesi önerilir. Ekstra okuma bağlantısı harika, ancak tabiri caizse lütfen cevabınızda bir yönetici özeti
eklemeyi deneyin

@Fluffeh Ve öyleydi.
CatShoes

1
Çok teşekkürler, 1000 başka şeyi denedikten sonra harika çalıştı.
Juergen Riemer

2
Sorunu yalnızca db.set_character_set ('utf8') çözmelidir
Pandurang Patil

21

En iyi çözüm şudur:

  1. mysql'ın karakter kümesini 'utf-8' olarak ayarla
  2. bu yorumu beğen (ekle use_unicode=Trueve charset="utf8")

    db = MySQLdb.connect (host = "localhost", user = "root", passwd = "", db = "testdb", use_unicode = True, charset = "utf8") - KyungHoon Kim 13 Mart 2014, 17: 04

detay bkz:

class Connection(_mysql.connection):

    """MySQL Database Connection Object"""

    default_cursor = cursors.Cursor

    def __init__(self, *args, **kwargs):
        """

        Create a connection to the database. It is strongly recommended
        that you only use keyword parameters. Consult the MySQL C API
        documentation for more information.

        host
          string, host to connect

        user
          string, user to connect as

        passwd
          string, password to use

        db
          string, database to use

        port
          integer, TCP/IP port to connect to

        unix_socket
          string, location of unix_socket to use

        conv
          conversion dictionary, see MySQLdb.converters

        connect_timeout
          number of seconds to wait before the connection attempt
          fails.

        compress
          if set, compression is enabled

        named_pipe
          if set, a named pipe is used to connect (Windows only)

        init_command
          command which is run once the connection is created

        read_default_file
          file from which default client values are read

        read_default_group
          configuration group to use from the default file

        cursorclass
          class object, used to create cursors (keyword only)

        use_unicode
          If True, text-like columns are returned as unicode objects
          using the connection's character set.  Otherwise, text-like
          columns are returned as strings.  columns are returned as
          normal strings. Unicode objects will always be encoded to
          the connection's character set regardless of this setting.

        charset
          If supplied, the connection character set will be changed
          to this character set (MySQL-4.1 and newer). This implies
          use_unicode=True.

        sql_mode
          If supplied, the session SQL mode will be changed to this
          setting (MySQL-4.1 and newer). For more details and legal
          values, see the MySQL documentation.

        client_flag
          integer, flags to use or 0
          (see MySQL docs or constants/CLIENTS.py)

        ssl
          dictionary or mapping, contains SSL connection parameters;
          see the MySQL documentation for more details
          (mysql_ssl_set()).  If this is set, and the client does not
          support SSL, NotSupportedError will be raised.

        local_infile
          integer, non-zero enables LOAD LOCAL INFILE; zero disables

        autocommit
          If False (default), autocommit is disabled.
          If True, autocommit is enabled.
          If None, autocommit isn't set and server default is used.

        There are a number of undocumented, non-standard methods. See the
        documentation for the MySQL C API for some hints on what they do.

        """

1
Bu yanıtın daha fazla oylamaya ihtiyacı var. Bu, uygulama katmanını gereksiz kodlama ek yüklerinden temizleyen temiz bir çözümdür.
yeaske

Harika! Tam olarak aradığım buydu
Geek

Ek olarak, .etcutf8mb4 varsa mysql için ayarlamamız daha iyi olur emoji, mysql'de utf8mb4 ve utf8-karakter kümeleri arasındaki fark nedir
Cheney

20

Umarım veritabanınız en az UTF-8'dir. Ardından, yourstring.encode('utf-8')onu veritabanına koymadan önce çalıştırmanız gerekecek .


3

Bir Unicode kod noktasını o kod noktasını tanımlayamayan \u201cbir kodlama kullanarak depolamaya çalışıyorsunuz ISO-8859-1 / Latin-1. Ya veritabanını utf-8 kullanacak şekilde değiştirmeniz ve dize verilerini uygun bir kodlama kullanarak saklamanız gerekebilir ya da içeriği depolamadan önce girdilerinizi sterilize etmek isteyebilirsiniz; yani, Sam Ruby'nin mükemmel i18n kılavuzu gibi bir şey kullanarak . Bu windows-1252, neden olabilecek sorunlardan bahseder ve bunun nasıl işleneceğini ve ayrıca örnek koda bağlantılar önerir!


2

SQLAlchemy kullanıcıları, alanlarını basitçe convert_unicode=True.

Misal: sqlalchemy.String(1000, convert_unicode=True)

SQLAlchemy, unicode nesnelerini kabul eder ve kodlamanın kendisini işleyerek geri döndürür.

Dokümanlar


2

Metni Latince'den İngilizceye dönüştürmek için aşağıdaki parçacığı kullanın

import unicodedata
def strip_accents(text):
    return "".join(char for char in
                   unicodedata.normalize('NFKD', text)
                   if unicodedata.category(char) != 'Mn')

strip_accents('áéíñóúü')

çıktı:

"aeinouu"


1

Latin-1 ( ISO 8859-1 olarak da bilinir ) tek bir sekizli karakter kodlama şemasıdır ve bir bayta \u201c( ) sığdıramazsınız.

UTF-8 kodlamasını mı kullanmak istediniz?


1
Latin-1 , belirli Unicode karakterlerini kodlar , sadece bu karakterleri değil. Bir bayta \ u201c sığamaması önemli değil. pencereler-1252 aynı zamanda, tek bir sekizli kodlama şeması ve etmez \ u201c dahil olmak üzere.
Mark Tolonen

cp1253 (aka windows-1253) ayrıca tek bir sekizli karakter kodlama şemasıdır ve yine \u0391de bir bayta (özellikle 193 baytına) sığar. Sen belki bakmak istiyorum o ; insanlar bunu yararlı buldu.
tzot

Unicode, Latin-1 / cp1253 gliflerini 16 bit kod noktaları olarak birleştirir. Yorumların konuşmayı iddia ediyor gibi görünmesine şaşırdım.
msw

-3

Python: Python dosyasının ilk satırına # - * - kodlama: UTF-8 - * - (* çevresindeki boşlukları kaldırın) eklemeniz gerekecektir . ve sonra kodlanacak metne şunları ekleyin : .encode ('ascii', 'xmlcharrefreplace') . Bu, tüm unicode karakterlerini ASCII eşdeğeriyle değiştirecektir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.