Python, Unicode ve Windows konsolu

Windows konsolunda bir Unicode dizesi yazdırmaya çalıştığımda UnicodeEncodeError: 'charmap' codec can't encode character ....hata alıyorum. Bunun Windows konsolu yalnızca Unicode karakterleri kabul etmediği için varsayıyorum. Bunun en iyi yolu nedir? Python'un ?bu durumda başarısız olmak yerine otomatik olarak yazdırmasını sağlamanın herhangi bir yolu var mı ?

Düzenleme: Python 2.5 kullanıyorum.

Not: @ LasseV.Karlsen onay işareti ile cevap bir çeşit eski (2008'den itibaren). Lütfen aşağıdaki çözümleri / cevapları / önerileri dikkatli kullanın !!

@JFSebastian yanıtı bugün itibariyle daha ilgili (6 Ocak 2016).

Not: Bu cevap biraz eski (2008'den itibaren). Lütfen aşağıdaki çözümü dikkatli kullanın!

İşte sorunu ve bir çözümü ayrıntılandıran bir sayfa ( bir örnekte sys.stdout kaydırma metnini arayın ):

PrintFails - Python Wiki

İşte o sayfadan bir kod alıntısı:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

Bu sayfada daha fazla bilgi var, okumaya değer.

Güncelleştirme: Python 3.6 PEP 528 uygular : Windows konsol kodlamasını UTF-8 olarak değiştirin : Windows'daki varsayılan konsol artık tüm Unicode karakterlerini kabul edecektir. Dahili olarak , win-unicode-consoleaşağıda belirtilen paketle aynı Unicode API'sını kullanır . print(unicode_string)şimdi çalışmalı.

Bir UnicodeEncodeError: 'charmap' codec can't encode character... hata alıyorum.

Hata, yazdırmaya çalıştığınız Unicode karakterlerin geçerli ( chcp) konsol karakter kodlaması kullanılarak temsil edilemeyeceği anlamına gelir . cp437Kod sayfası genellikle ~ 1M Unicode karakterlerden yalnızca ~ 0x100 karakterleri temsil edebilen 8 bit kodlamadır :

>>> u "\ N {EURO SIGN}". kodlama ('cp437')
Geri izleme (en son son arama):
...
UnicodeEncodeError: 'charmap' codec bileşeni '\ u20ac' karakterini 0 konumunda kodlayamıyor:
karakter eşleşir 

Bunun Windows konsolu yalnızca Unicode karakterleri kabul etmediği için varsayıyorum. Bunun en iyi yolu nedir?

Windows konsolu Unicode karakterleri kabul eder ve karşılık gelen yazı tipi yapılandırılmışsa bunları (yalnızca BMP) görüntüleyebilir . @Daira Hopwood'un cevabındaWriteConsoleW() önerildiği gibi API kullanılmalıdır . Saydam olarak çağrılabilir, yani paket kullanıyorsanız komut dosyalarınızı değiştirmeniz gerekmez ve değiştirmeniz gerekmez :win-unicode-console

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

Bkz. Python 3.4, Unicode, farklı diller ve Windows ile anlaşma nedir?

Python'un ?bu durumda başarısız olmak yerine otomatik olarak yazdırmasını sağlamanın herhangi bir yolu var mı ?

O bütün unencodable karakterleri değiştirmek için yeterliyse ?sizin durumda o zaman ayarlayabilirsiniz PYTHONIOENCODINGenvvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

Python 3.6+ PYTHONIOENCODINGsürümünde, PYTHONLEGACYWINDOWSIOENCODINGenvvar boş olmayan bir dizeye ayarlanmadığı sürece envvar tarafından belirtilen kodlama etkileşimli konsol arabellekleri için yok sayılır .

Kod sayfasını 65001 olarak değiştirmeyi öneren diğer makul yanıtlara rağmen, bu işe yaramaz . (Ayrıca, kullanarak kodlayan varsayılan değişiyor sys.setdefaultencodingolan iyi bir fikir değildir .)

İşe yarayan ayrıntılar ve kod için bu soruya bakın .

Kötü karakterlerin güvenilir bir şekilde temsil edilmesini istemiyorsanız, bunun gibi bir şey kullanabilirsiniz (python> = 2.6 ile çalışmak, 3.x dahil):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

Dizedeki bozuk karakterler, Windows konsolu tarafından yazdırılabilir bir gösterimde dönüştürülecektir.

Aşağıdaki kod, Python'un Windows'ta bile UTF-8 olarak konsola çıkmasını sağlayacaktır.

Konsol karakterleri Windows 7'de iyi gösterecek, ancak Windows XP'de onları iyi göstermeyecek, ancak en azından işe yarayacak ve en önemlisi tüm platformlarda komut dosyanızdan tutarlı bir çıktıya sahip olacaksınız. Çıktıyı bir dosyaya yeniden yönlendirebilirsiniz.

Aşağıdaki kod Windows'ta Python 2.6 ile test edilmiştir.

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Python betiğini çalıştırmadan önce bu kodu komut satırına girmeniz yeterlidir:

chcp 65001 & set PYTHONIOENCODING=utf-8

Giampaolo Rodolà'nın yanıtı gibi, ama daha da kirli: Gerçekten, kodlamaların tüm konusunu ve Windoze konsollarına nasıl uygulandıklarını anlamak için uzun bir süre (gerçekten) harcamak niyetindeyim,

Şimdilik programımın ezilmeyeceği ve anladığım ... ve ayrıca çok fazla egzotik modül (özellikle Jython kullanıyorum, yani yarısı Python kullanıyorum) anlamına gelmeyen sthg'yi istedim modül aslında mevcut değildir).

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

NB "pr" yazmak için "print" den daha kısa (ve yazmak için "safeeprint" den biraz daha kısa) ...!

Python 2 için şunu deneyin:

print unicode(string, 'unicode-escape')

Python 3 için şunu deneyin:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

Veya kazan-unicode-konsolunu deneyin:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

Bir Twitch sohbet (IRC) botu üzerinde çalıştım. (Python 2.7 son sürüm)

Yanıt vermek için sohbet mesajlarını ayrıştırmak istedim ...

msg = s.recv(1024).decode("utf-8")

aynı zamanda bunları insan tarafından okunabilir biçimde konsola güvenli bir şekilde yazdırın:

print(msg.encode('ascii','replace'));

Bu, bot atma UnicodeEncodeError: 'charmap'hataları sorununu düzeltti ve unicode karakterlerin yerini aldı ?.

Sorunuzun nedeni, Unicode'u kabul etmek istemeyen Win konsolu DEĞİLDİR (varsayılan olarak Win2k'yi tahmin ettiğim için bunu yapar). Varsayılan sistem kodlamasıdır. Bu kodu deneyin ve size ne verdiğini görün:

import sys
sys.getdefaultencoding()

ascii diyorsa, sebebiniz var ;-) sitecustomize.py adlı bir dosya oluşturmanız ve python yolunun altına koymanız gerekir (/usr/lib/python2.5/site-packages altına koydum, ancak bu farklı Win - c: \ python \ lib \ site-paketleri ya da bir şey), aşağıdaki içeriklerle:

import sys
sys.setdefaultencoding('utf-8')

ve belki de dosyalarınızdaki kodlamayı belirtmek isteyebilirsiniz:

# -*- coding: UTF-8 -*-
import sys,time

Edit: daha fazla bilgi mükemmel Python kitap içine dalış mükemmel bulunabilir

JF Sebastian'ın cevabı ile ilgili bir tür, ama daha doğrudan.

Konsola / terminale yazdırırken bu sorunu yaşıyorsanız, bunu yapın:

>set PYTHONIOENCODING=UTF-8

Python 3.6 pencereleri7: Python konsolunu (üzerinde bir python logosu olan) veya windows konsolunu (cmd.exe üzerinde yazılmış) kullanabileceğiniz bir python başlatmanın birkaç yolu vardır.

Windows konsolunda utf8 karakterleri yazdıramadım. Utf-8 karakterleri yazdırmak bana bu hatayı veriyor:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

Yukarıdaki cevabı anlamaya çalıştıktan ve başarısız olduktan sonra bunun sadece bir ayar sorunu olduğunu keşfettim. Cmd konsol pencerelerinin üst tarafına sağ tıklayın, sekmede fontlucida konsolunu seçin.

James Sulak,

Python'u otomatik olarak yazdırmamın bir yolu var mı? bu durumda başarısız olmak yerine?

Diğer çözümler, Windows ortamını değiştirmeyi veya Python'ları değiştirmeyi denememizi önerir. print() işlevini . Aşağıdaki cevap Sulak'ın talebini yerine getirmeye daha da yaklaşıyor.

Windows 7 altında, Python 3.5, Unicode'u UnicodeEncodeError aşağıdaki gibi :

    Yerine:    print(text)
    yerine:     print(str(text).encode('utf-8'))

Bir istisna atmak yerine, Python yazdırılamaz Unicode karakterlerini \ xNN onaltılı kodları olarak görüntüler, ör:

  Halmalo n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait artı qu \ xe2 \ x80 \ x99un noktası noir

Onun yerine

  Halmalo n'était plus qu'un point noir

Verilen, ikincisi tercih edilebilir ceteris paribus , ancak aksi takdirde eski, teşhis mesajları için tamamen doğrudur. Unicode'u gerçek bayt değerleri olarak görüntülediğinden, önceki kodlama / kod çözme sorunlarını tanılamaya da yardımcı olabilir.

Not: Yukarıdaki str()çağrı gereklidir, çünkü aksi halde encode()Python bir Unicode karakterini bir sayı dizisi olarak reddetmesine neden olur.