Neden bir py betiğinde sys.setdefaultencoding (“utf-8”) kullanmamalıyız?

Senaryo üst kısmında bunu kullanan birkaç py komut dosyaları gördüm. Hangi durumlarda kullanılmalı?

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

Belgelere göre: Bu, varsayılan ASCII'den, Python çalışma zamanının unicode'a bir dize arabelleğinin kodunu çözmek gerektiğinde kullanacağı UTF-8 gibi diğer kodlamalara geçmenizi sağlar.

Bu işlev yalnızca Python ortamı tararken Python başlatma zamanında kullanılabilir. Sistem çapında bir modülde çağrılmalıdır sitecustomize.py, Bu modül değerlendirildikten sonra setdefaultencoding()işlev sysmodülden kaldırılır .

Bunu gerçekten kullanmanın tek yolu, özelliği geri getiren bir yeniden yükleme hack'idir.

Ayrıca, kullanımı sys.setdefaultencoding()her zaman cesaretini kırmıştır ve py3k'te bir op-haline dönüşmüştür. Py3k kodlaması "utf-8" ile kablolanmıştır ve değiştirilmesi bir hataya neden olur.

Okumak için bazı işaretçiler öneririm:

• http://blog.ianbicking.org/illusive-setdefaultencoding.html
• http://nedbatchelder.com/blog/200401/printing_unicode_from_python.html
• http://www.diveintopython3.net/strings.html#one-ring-to-rule-them-all
• http://boodebr.org/main/python/all-about-python-and-unicode
• http://blog.notdot.net/2010/07/Getting-unicode-right-in-Python

tl; Dr.

Cevap ASLA değil ! _{(ne yaptığınızı gerçekten bilmiyorsanız)}

9/10 kez çözüm, uygun kodlama / kod çözme anlayışı ile çözülebilir.

1/10 kişinin yanlış tanımlanmış bir yerel ayarı veya ortamı vardır ve şunları ayarlaması gerekir:

PYTHONIOENCODING="UTF-8"  

ortamlarında konsol yazdırma sorunlarını gidermek için.

Bu ne işe yarıyor?

sys.setdefaultencoding("utf-8")(yeniden kullanmaktan kaçınmak için), Python 2.x'in bir Unicode'u () bir str () 'e (ve tersi) dönüştürmesi gerektiğinde kullanılan varsayılan kodlama / kod çözmeyi değiştirir ve kodlama verilmez. yani:

str(u"\u20AC")
unicode("€")
"{}".format(u"\u20AC") 

Python 2.x'te, varsayılan kodlama ASCII olarak ayarlanmıştır ve yukarıdaki örnekler aşağıdakilerle başarısız olacaktır:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 0: ordinal not in range(128)

(Konsolum UTF-8 olarak yapılandırıldı, bu "€" = '\xe2\x82\xac'nedenle istisna açık \xe2)

veya

UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 0: ordinal not in range(128)

sys.setdefaultencoding("utf-8")bunların benim için çalışmasına izin verecek , ancak UTF-8 kullanmayan kişiler için çalışmayabilir. Varsayılan ASCII, kodlama varsayımlarının koda dönüştürülmemesini sağlar

Konsol

sys.setdefaultencoding("utf-8")sys.stdout.encodingkarakterleri konsola yazdırırken kullanılan, düzeltmek gibi görünen bir yan etkisi de vardır . Python bunu ayarlamak için kullanıcının yerel ayarını (Linux / OS X / Un * x) veya kod sayfasını (Windows) kullanır. Bazen bir kullanıcının yerel ayarı bozulur ve yalnızca konsol kodlamasınıPYTHONIOENCODING düzeltmek gerekir .

Misal:

$ export LANG=en_GB.gibberish
$ python
>>> import sys
>>> sys.stdout.encoding
'ANSI_X3.4-1968'
>>> print u"\u20AC"
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 0: ordinal not in range(128)
>>> exit()

$ PYTHONIOENCODING=UTF-8 python
>>> import sys
>>> sys.stdout.encoding
'UTF-8'
>>> print u"\u20AC"
€

Sys.setdefaultencoding ("utf-8") ile ilgili bu kadar kötü olan nedir ?

İnsanlar 16 yıldır Python 2.x'e karşı varsayılan kodlamanın ASCII olduğunu anlıyorlar. UnicodeErrorASCII dışı içerdiği belirlenen dizelerdeki Unicode dönüşümlerini dizeye işlemek için kural dışı durum işleme yöntemleri yazılmıştır.

Gönderen https://anonbadger.wordpress.com/2015/06/16/why-sys-setdefaultencoding-will-break-code/

def welcome_message(byte_string):
    try:
        return u"%s runs your business" % byte_string
    except UnicodeError:
        return u"%s runs your business" % unicode(byte_string,
            encoding=detect_encoding(byte_string))

print(welcome_message(u"Angstrom (Å®)".encode("latin-1"))

Varsayılan kodlamayı ayarlamadan önce bu kod, ascii kodlamasındaki “Å” kodunun kodunu çözemez ve kodlamayı tahmin etmek ve düzgün bir şekilde unicode'a dönüştürmek için istisna işleyicisine girerdi. Yazdırma: Angstrom (Å®) işinizi yürütür. Varsayılan kodlamayı utf-8 olarak ayarladıktan sonra kod, byte_string öğesinin utf-8 olarak yorumlanabildiğini görür ve böylece verileri değiştirir ve bunun yerine bunu döndürür: Angstrom (Ů) işinizi yürütür.

Sabit olması gereken şeyi değiştirmek, bağımlı olduğunuz modüller üzerinde dramatik etkiler yaratacaktır. Kodunuza girip çıkan verileri düzeltmek daha iyidir.

Örnek problem

Varsayılan kodlamanın UTF-8 olarak ayarlanması, aşağıdaki örnekte temel neden olmasa da, sorunların nasıl maskelentiğini ve giriş kodlaması değiştiğinde, kodun açık bir şekilde nasıl bozulduğunu gösterir: UnicodeDecodeError: 'utf8' codec bileşeni 3131 konumundaki bayt 0x80 kod çözme: geçersiz başlangıç ​​baytı

#!/usr/bin/env python
#-*- coding: utf-8 -*-
u = u'moçambique'
print u.encode("utf-8")
print u

chmod +x test.py
./test.py
moçambique
moçambique

./test.py > output.txt
Traceback (most recent call last):
  File "./test.py", line 5, in <module>
    print u
UnicodeEncodeError: 'ascii' codec can't encode character 
u'\xe7' in position 2: ordinal not in range(128)

kabuk üzerinde çalışır, sdtout'a gönderme değil, bu yüzden stdout'a yazmak için bir çözüm var.

Sys.stdout.encoding tanımlanmamışsa veya başka bir deyişle, stdout'a yazmak için önce PYTHONIOENCODING = UTF-8 dışa aktarmaya ihtiyaç duyulduğunda çalıştırılmayan başka bir yaklaşım yaptım.

import sys
if (sys.stdout.encoding is None):            
    print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout." 
    exit(1)

yani, aynı örneği kullanarak:

export PYTHONIOENCODING=UTF-8
./test.py > output.txt

çalışacak

• İlk tehlike yatıyor reload(sys).

  Bir modülü yeniden yüklediğinizde, aslında çalışma sürenizde modülün iki kopyasını alırsınız . Eski modül, diğer her şey gibi bir Python nesnesidir ve referansları olduğu sürece hayatta kalır. Böylece, nesnelerin yarısı eski modüle, yarısı da yeni modüle işaret edecek. Bazı değişiklikler yaptığınızda, bazı rastgele nesneler değişikliği görmediğinde hiçbir zaman geleceğini görmezsiniz:

  (This is IPython shell)
  
  In [1]: import sys
  
  In [2]: sys.stdout
  Out[2]: <colorama.ansitowin32.StreamWrapper at 0x3a2aac8>
  
  In [3]: reload(sys)
  <module 'sys' (built-in)>
  
  In [4]: sys.stdout
  Out[4]: <open file '<stdout>', mode 'w' at 0x00000000022E20C0>
  
  In [11]: import IPython.terminal
  
  In [14]: IPython.terminal.interactiveshell.sys.stdout
  Out[14]: <colorama.ansitowin32.StreamWrapper at 0x3a9aac8>

• Şimdi, sys.setdefaultencoding()uygun

  Etkilediği tek şey örtük dönüşümdürstr<->unicode . Şimdi, utf-8gezegendeki en san kodlama (ASCII ve hepsi ile geriye dönük uyumlu), dönüşüm şimdi "sadece çalışıyor", ne yanlış gidebilir?

  Şey, her şey. Ve bu tehlike.

  • UnicodeErrorASCII olmayan giriş için atılana dayanan veya şimdi bir beklenmedik sonuç üreten bir hata işleyici ile kod dönüştürme yapan bazı kodlar olabilir . Ve tüm kodlar varsayılan ayar ile test edildiğinden, kesinlikle burada "desteklenmeyen" bölgede bulunuyorsunuz ve hiç kimse size kodlarının nasıl davranacağını garanti etmiyor.
  • Kodlama , sistemdeki her şey UTF-8 kullanmıyorsa beklenmedik veya kullanılamaz sonuçlar üretebilir, çünkü Python 2 aslında birden fazla bağımsız "varsayılan dize kodlamasına" sahiptir . (Bir programın müşteri için, müşterinin ekipmanında çalışması gerektiğini unutmayın.)
    • Yine, en kötü şey, dönüşümün dolaylı olduğu için asla bilemeyeceksiniz - bunun ne zaman ve nerede olduğunu gerçekten bilmiyorsunuz. (Python Zen, koan 2 ahoy!) Kodunuzun neden bir sistemde çalıştığını (ve başka bir sistemde çalıştığını) asla bilemezsiniz. (Ya da daha iyisi, IDE'de çalışır ve konsolda kırılır.)