UnicodeEncodeError: 'ascii' codec bileşeni 20 konumunda u '\ xa0' karakterini kodlayamıyor: sıra değeri aralıkta değil (128)

Farklı web sayfalarından (farklı sitelerde) getirilen metinden unicode karakterlerle ilgili sorunlar yaşıyorum. BeautifulSoup kullanıyorum.

Sorun, hatanın her zaman yeniden üretilememesidir; bazen bazı sayfalarla çalışır ve bazen a UnicodeEncodeError. Aklıma gelen her şeyi denedim ve yine de Unicode ile ilgili bir tür hata atmadan sürekli çalışan bir şey bulamadım.

Kodun sorunlara neden olan bölümlerinden biri aşağıda gösterilmiştir:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

Yukarıdaki snippet çalıştırıldığında SOME dizelerinde üretilen bir yığın izlemesi:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

Bunun bazı sayfaların (veya daha spesifik olarak bazı sitelerdeki sayfaların) kodlanmış olabileceğini, bazılarının ise kodlanmamış olabileceğinden şüpheleniyorum. Tüm siteler İngiltere'de yerleşiktir ve İngiltere tüketimi için veri sağlar - bu nedenle içselleştirme veya İngilizce dışında herhangi bir şeyle yazılmış metinlerle ilgili herhangi bir sorun yoktur.

Herkes bu sorunu sürekli olarak gidermek böylece bunu çözmek için herhangi bir fikir var mı?

Python Unicode NASIL belgesini okumalısınız . Bu hata ilk örnektir .

Temel olarak, strunicode'dan kodlanmış metne / bayta dönüştürmek için kullanmayı bırakın .

Bunun yerine, .encode()dizeyi kodlamak için uygun şekilde kullanın :

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

veya tamamen unicode ile çalışabilirsiniz.

Bu klasik bir python unicode ağrı noktası! Aşağıdakileri göz önünde bulundur:

a = u'bats\u00E0'
print a
 => batsà

Şimdiye kadar her şey yolunda, ancak str (a) dersek, ne olacağını görelim:

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

Oh daldırma, bu hiç kimseye iyi gelmeyecek! Hatayı düzeltmek için baytları açık bir şekilde .encode ile kodlayın ve python'a hangi codec bileşenini kullanacağını söyleyin:

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Voil \ u00E0!

Sorun, str () öğesini çağırdığınızda, python'un verdiğiniz baytları denemek ve kodlamak için varsayılan karakter kodlamasını kullanmasıdır; Sorunu çözmek için, .encode ('whatever_unicode') kullanarak python'a verdiğiniz dize ile nasıl başa çıkılacağını söylemelisiniz. Çoğu zaman, utf-8 kullanarak iyi olmalısınız.

Bu konuyla ilgili mükemmel bir açıklama için Ned Batchelder'ın PyCon konuşmasına buradan bakın: http://nedbatchelder.com/text/unipain.html

Sembolleri kaldırmak ve dizeyi aşağıdaki gibi dize olarak tutmaya devam etmek için etrafımda zarif bir iş buldum:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

Yoksay seçeneğini kullanmanın tehlikeli olduğunu fark etmek önemlidir, çünkü burada görüldüğü gibi, herhangi bir unicode (ve uluslararasılaştırma) desteğini kullanan koddan sessizce düşürür (unicode'u dönüştürün):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

iyi her şeyi denedim ama yardımcı olmadı, etrafında googling sonra aşağıdaki düşündüm ve yardımcı oldu. python 2.7 kullanımda.

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

Yazdırmanın başarısız olmasına neden olan küçük bir sorun, ortam değişkenlerinizin yanlış ayarlanmasıdır. burada LC_ALL "C" olarak ayarlanmıştır. Debian'da bunu yapmaktan vazgeçiyorlar : Locale'de Debian wiki

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

Benim için işe yarayan şuydu:

BeautifulSoup(html_text,from_encoding="utf-8")

Umarım bu birine yardımcı olur.

Aslında vakalarımın çoğunda, bu karakterleri çıkarmak çok daha basit:

s = mystring.decode('ascii', 'ignore')

Sorun şu ki, unicode bir karakter yazdırmaya çalışıyorsunuz, ancak terminaliniz bunu desteklemiyor.

Bunu language-pack-endüzeltmek için paketi yüklemeyi deneyebilirsiniz :

sudo apt-get install language-pack-en

desteklenen tüm paketler (Python dahil) için İngilizce çeviri verisi güncellemeleri sağlar. Gerekirse farklı bir dil paketi yükleyin (hangi karakterleri yazdırmaya çalıştığınıza bağlı olarak).

Bazı Linux dağıtımlarında, varsayılan İngilizce yerel ayarlarının doğru bir şekilde ayarlandığından emin olmak gerekir (böylece unicode karakterler kabuk / terminal tarafından işlenebilir). Bazen kurmak, manuel olarak yapılandırmaktan daha kolaydır.

Sonra kodu yazarken, kodunuzda doğru kodlamayı kullandığınızdan emin olun.

Örneğin:

open(foo, encoding='utf-8')

Hala sorun yaşıyorsanız, sistem yapılandırmanızı tekrar kontrol edin, örneğin:

• /etc/default/localeÖrneğin, yerel ayar dosyanız ( )

  LANG="en_US.UTF-8"
  LC_ALL="en_US.UTF-8"

  veya:

  LC_ALL=C.UTF-8
  LANG=C.UTF-8

• Kabuktaki LANG/ LC_CTYPEiçindeki değer .

• Kabuğunuzun hangi yerel ayarı desteklediğini kontrol edin:

  locale -a | grep "UTF-8"

Yeni VM'de problemin ve çözümün gösterilmesi.

1. VM'yi başlatın ve hazırlayın (örn. Kullanarak vagrant):

   vagrant init ubuntu/trusty64; vagrant up; vagrant ssh

   ^{Bakınız: mevcut Ubuntu kutuları .} .

2. Unicode karakterleri yazdırma (ticari marka işareti gibi ™):

   $ python -c 'print(u"\u2122");'
   Traceback (most recent call last):
     File "<string>", line 1, in <module>
   UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 0: ordinal not in range(128)

3. Şimdi kuruluyor language-pack-en:

   $ sudo apt-get -y install language-pack-en
   The following extra packages will be installed:
     language-pack-en-base
   Generating locales...
     en_GB.UTF-8... /usr/sbin/locale-gen: done
   Generation complete.

4. Şimdi sorun çözülmeli:

   $ python -c 'print(u"\u2122");'
   ™

5. Aksi takdirde, aşağıdaki komutu deneyin:

   $ LC_ALL=C.UTF-8 python -c 'print(u"\u2122");'
   ™

Kabukta:

1. Aşağıdaki komutla desteklenen UTF-8 yerel ayarını bulun:

   locale -a | grep "UTF-8"

2. Komut dosyasını çalıştırmadan önce dışa aktarın, örneğin:

   export LC_ALL=$(locale -a | grep UTF-8)

   veya manuel olarak:

   export LC_ALL=C.UTF-8

3. Özel karakter yazdırarak test edin, örn ™:

   python -c 'print(u"\u2122");'

Yukarıda Ubuntu'da test edilmiştir.

Betiğinizin başına (veya ikinci satır olarak) aşağıdaki satırı ekleyin:

# -*- coding: utf-8 -*-

Bu python kaynak kodu kodlamasının tanımıdır. Daha fazla bilgi için PEP 263 .

İşte bazı "polis çıkma" cevaplarının yeniden canlandırılması. Burada dile getirilen protestolara rağmen, zahmetli karakterleri / karakter dizilerini atmanın iyi bir çözüm olduğu durumlar var.

def safeStr(obj):
    try: return str(obj)
    except UnicodeEncodeError:
        return obj.encode('ascii', 'ignore').decode('ascii')
    except: return ""

Test ediliyor:

if __name__ == '__main__': 
    print safeStr( 1 ) 
    print safeStr( "test" ) 
    print u'98\xb0'
    print safeStr( u'98\xb0' )

Sonuçlar:

1
test
98°
98

Öneri: Bu işlevi şu şekilde adlandırmak isteyebilirsiniz: toAscii yerine ? Bu bir tercih meselesi.

Bu Python 2 için yazılmıştır. Python 3 için kullanmak bytes(obj,"ascii")yerine kullanmak isteyeceğinize inanıyorum str(obj). Bunu henüz test etmedim, ama bir noktada cevabı gözden geçireceğim.

Her zaman aşağıdaki kodu python dosyalarının ilk iki satırına koydu:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

Burada basit yardımcı fonksiyonlar bulundu .

def safe_unicode(obj, *args):
    """ return the unicode representation of obj """
    try:
        return unicode(obj, *args)
    except UnicodeDecodeError:
        # obj is byte string
        ascii_text = str(obj).encode('string_escape')
        return unicode(ascii_text)

def safe_str(obj):
    """ return the byte string representation of obj """
    try:
        return str(obj)
    except UnicodeEncodeError:
        # obj is unicode
        return unicode(obj).encode('unicode_escape')

Sadece değişken bir kodlamaya ekleyin ('utf-8')

agent_contact.encode('utf-8')

Lütfen terminali açın ve aşağıdaki komutu çalıştırın:

export LC_ALL="en_US.UTF-8"

Ben sadece aşağıdakileri kullandım:

import unicodedata
message = unicodedata.normalize("NFKD", message)

Bununla ilgili belgelerin ne dediğini kontrol edin:

unicodedata.normalize (form, unistr) Unicode dizesi unistr için normal form formunu döndürür. Form için geçerli değerler 'NFC', 'NFKC', 'NFD' ve 'NFKD'dir.

Unicode standardı, kanonik eşdeğerlik ve uyumluluk eşdeğerliği tanımına dayalı olarak bir Unicode dizesinin çeşitli normalleştirme formlarını tanımlar. Unicode'da birkaç karakter çeşitli şekillerde ifade edilebilir. Örneğin, U + 00C7 karakteri (CEDILLA İLE LATİN SERMAYE MEKTUBU C) U + 0043 dizisi olarak ifade edilebilir (LATIN SERMAYE MEKTUBU C) U + 0327 (CEDILLA KOMBİNASYONU).

Her karakter için iki normal form vardır: normal C formu ve normal D formu. Normal D formu (NFD) kanonik ayrışma olarak da bilinir ve her karakteri ayrıştırılmış forma çevirir. Normal C formu (NFC) önce kanonik bir ayrışma uygular, sonra önceden birleştirilmiş karakterleri yeniden oluşturur.

Bu iki forma ek olarak, uyumluluk denkliğine dayanan iki normal form daha vardır. Unicode'da normalde diğer karakterlerle birleştirilecek belirli karakterler desteklenir. Örneğin, U + 2160 (ROMAN SAYISAL BİR) gerçekten U + 0049 (LATIN SERMAYE MEKTUBU I) ile aynı şeydir. Ancak, mevcut karakter kümeleriyle (ör. Gb2312) uyumluluk için Unicode'da desteklenir.

Normal form KD (NFKD) uyumluluk ayrışmasını uygular, yani tüm uyumluluk karakterlerini eşdeğerleriyle değiştirir. Normal form KC (NFKC) önce uyumluluk ayrışmasını, ardından kanonik bileşimi uygular.

İki unicode dizge normalleştirilmiş ve bir insan okuyucuyla aynı görünse bile, birinin karakterleri birleştirmesi ve diğerinin olmaması durumunda, eşit karşılaştırmayabilirler.

Benim için çözer. Basit ve kolay.

Aşağıdaki çözüm benim için çalıştı, Sadece ekledi

u "Dize"

(dizeyi unicode olarak gösterir) dizemden önce.

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

Ne yazık ki bu en azından Python 3'te çalışıyor ...

Python 3

Bazen hata çevre değişkenlerinde ve dolayısıyla

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

kodlamada hatalar dikkate alınmaz.

Bu sorunu yaşadım ve Google beni buraya getirdi, bu yüzden burada genel çözümlere eklemek için bu benim için işe yaradı:

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

Okuduktan sonra bu fikrim vardı Ned'in sunumunu .

Yine de bunun neden işe yaradığını tam olarak iddia etmiyorum. Eğer herhangi biri bu cevabı düzenleyebilir veya açıklamak için bir yorum yazabilirse, bunu takdir edeceğim.

Çalışırken bu hatayı aldık manage.py migrateDjango'da yerel fikstürlerle .

Kaynağımız # -*- coding: utf-8 -*-beyanı içeriyordu , MySQL utf8 için doğru şekilde yapılandırıldı ve Ubuntu uygun dil paketi ve değerlerine sahipti./etc/default/locale .

Sorun Django kapsayıcısında (docker kullanıyoruz) LANG env var .

Taşıma LANGişlemlerini en_US.UTF-8yeniden çalıştırmadan önce kapsayıcının ayarlanması ve yeniden başlatılması sorunu çözdü.

Burada birçok cevap (örneğin @agf ve @Andbdrew) OP sorununun en acil yönlerini ele aldı.

Bununla birlikte, büyük ölçüde göz ardı edilen ve benim gibi herkes için çok önemli olan, Python'daki kodlamaları anlamaya çalışırken son derece önemli olan önemli ama önemli bir yön olduğunu düşünüyorum: Python 2 vs Python 3 karakter temsili yönetimi çok farklı . Sürüm farkında olmadan Python'daki kodlamaları okuyan insanlarla ilgili büyük bir karışıklık parçası gibi hissediyorum.

Spolsky'nin karakter gösterimlerine ve Unicode'a girişini okuyarak ve sonra Python 2 ve Python 3'te Unicode'da Batchelder'a geçerek OP sorununun temel nedenini anlamak isteyen herkese öneriyorum .

Değişkenin str'ye (değişken) dönüştürülmesinden kaçının. Bazen, soruna neden olabilir.

Kaçınılması gereken basit ipucu:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

Yukarıdaki örnek Kodlama hatasını da çözecektir.

Eğer böyle bir şey varsa, bunu packet_data = "This is data"başlattıktan hemen sonra bir sonraki satırda yapın packet_data:

unic = u''
packet_data = unic

Python 3.0 ve sonrası için güncelleme. Python editöründe aşağıdakileri deneyin:

locale-gen en_US.UTF-8
export LANG=en_US.UTF-8 LANGUAGE=en_US.en
LC_ALL=en_US.UTF-8

Bu, sistemin varsayılan yerel ayar kodlamasını UTF-8 biçimine ayarlar.

Daha fazla bilgiyi PEP 538 - Eski C yerel ayarını UTF-8 tabanlı bir yerel ayara zorlama ile okuyabilirsiniz .

Unicode karakterleri çıktısını almaya çalışırken bu sorunu yaşadım stdout, ancaksys.stdout.write daha ziyade baskı daha (yani sıra farklı bir dosyaya çıktı destekleyebileceği anlamına).

BeautifulSoup'un kendi belgelerinden , bunu codec kütüphanesi ile çözdüm:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

Bu sorun genellikle bir django projesi Apache kullanarak dağıtıldığında oluşur. Çünkü Apache / etc / sysconfig / httpd içinde LANG = C ortam değişkenini ayarlar. Sadece dosyayı açın ve bu ayara yorum yapın (veya zevkinize değiştirin). Veya WSGIDaemonProcess komutunun lang seçeneğini kullanın, bu durumda farklı sanal ana bilgisayarlara farklı LANG ortam değişkeni ayarlayabilirsiniz.

Önerilen çözüm benim için işe yaramadı ve tüm ascii olmayan karakterleri dökerek yaşayabilirdim, bu yüzden

s = s.encode('ascii',errors='ignore')

bu da beni atmayan ve hata atmayan bir şey bıraktı.

Bu çalışacak:

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

Çıktı:

>>>bats