Django'da unicode dizeyi kaydederken MySQL “yanlış dize değeri” hatası

İlk_adı, son_adı Django'nun auth_user modeline kaydetmeye çalıştığımda garip bir hata mesajı aldım.

Başarısız örnekler

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

Başarılı örnekler

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

MySQL ayarları

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Tablo karakter seti ve harmanlama

Auth_user tablosunda utf8_general_ci harmanlama içeren utf-8 karakter kümesi bulunur.

UPDATE komutunun sonuçları

UPDATE komutunu kullanarak yukarıdaki değerleri auth_user tablosuna güncellerken herhangi bir hata oluşmadı.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

Yukarıda listelenen başarısız değerler, Django'da veritabanı arka ucunu değiştirdiğimde PostgreSQL tablosuna güncellenebilir. Bu garip.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Ancak http://www.postgresql.org/docs/8.1/interactive/multibyte.html adresinden aşağıdakileri buldum:

Name Bytes/Char
UTF8 1-4

Unicode char'ın PostgreSQL'de en fazla 4 bayt, MySQL'de 3 baytın yukarıdaki hataya neden olduğu anlamına mı geliyor?

Bu cevapların hiçbiri sorunu benim için çözmedi. Temel neden:

4 baytlık karakterleri utf-8 karakter kümesiyle MySQL'de depolayamazsınız.

MySQL bir sahiptir utf-8 karakter üzerine 3 bayt limitini (evet, 's wack, güzel burada Django geliştirici tarafından özetlenebilir )

Bunu çözmek için yapmanız gerekenler:

1. Utf8mb4 karakter kümesini kullanmak için MySQL veritabanınızı, tablonuzu ve sütunlarınızı değiştirin (yalnızca MySQL 5.5'ten itibaren kullanılabilir)
2. Django ayarları dosyanızdaki karakter kümesini aşağıdaki gibi belirtin:

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Not: Veritabanınızı yeniden oluştururken ' Belirtilen anahtar çok uzundu ' sorunuyla karşılaşabilirsiniz.

En olası neden, en fazla CharField255 uzunluğuna ve üzerinde bir tür dizine sahip olan bir örnektir (örneğin benzersiz). Utf8mb4, utf-8'den% 33 daha fazla alan kullandığından, bu alanları% 33 daha küçük yapmanız gerekir.

Bu durumda, max_length değerini 255'ten 191'e değiştirin.

Alternatif olarak, bu kısıtlamayı kaldırmak için MySQL yapılandırmanızı düzenleyebilirsiniz, ancak bazı django korsanlığı olmadan değil

GÜNCELLEME: Bu sorunla tekrar karşılaştım ve 191 karaktere indiremediğim için PostgreSQL'e geçtim VARCHAR.

Aynı sorunu yaşadım ve sütunun karakter kümesini değiştirerek çözdüm. Veritabanınızın varsayılan bir karakter seti olmasına rağmen, veritabanı utf-8sütunlarının MySQL'de farklı bir karakter setine sahip olabileceğini düşünüyorum. İşte kullandığım SQL QUERY:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

Bu sorun varsa, mysql veritabanınızın tüm sütunlarını otomatik olarak değiştirmek için bir python betiği.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

Bu yeni bir proje ise, veritabanını bırakıp uygun bir karakter grubuyla yeni bir tane oluşturacağım:

CREATE DATABASE <dbname> CHARACTER SET utf8;

Yukarıdaki hataları önlemek için sadece bir yöntem anladım.

Veritabanına kaydet

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Böyle dizeleri bir MySQL tablosuna kaydetmenin ve görüntüleme şablonları oluşturmadan önce kodunu çözmenin tek yöntemi bu mudur?

Metin alanınızın harmanlamasını UTF8_general_ci olarak değiştirebilirsiniz; sorun çözülecektir.

Dikkat edin, bu Django'da yapılamaz.

Unicode dizeleri kaydetmeye çalışmıyorsunuz, test kodlarını UTF-8 kodlamasına kaydetmeye çalışıyorsunuz. Onları gerçek unicode dize değişmezleri yapın:

user.last_name = u'Slatkevičius'

veya (dizgi değişmezleri olmadığında) utf-8 kodlamasını kullanarak bunları çözebilirsiniz:

user.last_name = lastname.decode('utf-8')

Sadece masanızı değiştirin, hiçbir şeye gerek yok. sadece bu sorguyu veritabanında çalıştırın. ALTER MASA table_nameKARAKTER SETİNE DÖNÜŞ utf8

kesinlikle işe yarayacak.

@Madprops yanıtına yönelik iyileştirme - django yönetim komutu olarak çözüm:

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

Umarım bu benden başka herkese yardımcı olur :)