UnicodeEncodeError: 'charmap' codec bileşeni karakterleri kodlayamıyor

Bir web sitesini kazımaya çalışıyorum, ama bu bana bir hata veriyor.

Aşağıdaki kodu kullanıyorum:

import urllib.request
from bs4 import BeautifulSoup

get = urllib.request.urlopen("https://www.website.com/")
html = get.read()

soup = BeautifulSoup(html)

print(soup)

Ve şu hatayı alıyorum:

File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined>

Bunu düzeltmek için ne yapabilirim?

UnicodeEncodeErrorKopyalanmış web içeriğini bir dosyaya kaydederken de aynısını alıyordum . Düzeltmek için bu kodu değiştirdim:

with open(fname, "w") as f:
    f.write(html)

Bununla:

import io
with io.open(fname, "w", encoding="utf-8") as f:
    f.write(html)

Kullanmak iosize Python 2 ile geriye dönük uyumluluk sağlar.

Yalnızca Python 3'ü desteklemeniz gerekiyorsa openbunun yerine yerleşik işlevi kullanabilirsiniz :

with open(fname, "w", encoding="utf-8") as f:
    f.write(html)

Ben ekleyerek sabit .encode("utf-8")için soup.

Bu demek print(soup)oluyor print(soup.encode("utf-8")).

Python 3.7 ve Windows 10 çalıştıran bu çalıştı (diğer platformlarda ve / veya Python'un diğer sürümlerinde çalışıp çalışmayacağından emin değilim)

Bu satırın değiştirilmesi:

with open('filename', 'w') as f:

Bununla:

with open('filename', 'w', encoding='utf-8') as f:

Çalışmasının nedeni, dosyayı kullanırken kodlamanın UTF-8 olarak değiştirilmesidir, bu nedenle UTF-8'deki karakterler, bir UTF-8 karakteriyle karşılaştığında bir hata döndürmek yerine metne dönüştürülebilir geçerli kodlama ile desteklenmez.

Alma isteğinin yanıtı kaydedilirken, pencere 10'da Python 3.7'de aynı hata atıldı. URL'den alınan yanıt, kodlama UTF-8 idi, bu nedenle bu tür önemsiz sorunları önlemek için her zaman kodlamanın kontrol edilmesi önerilir. üretimde gerçekten çok zaman öldürdüğü için

import requests
resp = requests.get('https://en.wikipedia.org/wiki/NIFTY_50')
print(resp.encoding)
with open ('NiftyList.txt', 'w') as f:
    f.write(resp.text)

Open komutuyla encoding = "utf-8" eklediğimde dosyayı doğru yanıtla kaydetti

with open ('NiftyList.txt', 'w', encoding="utf-8") as f:
    f.write(resp.text)

Yazdırmaya, okumaya / yazmaya veya açmaya çalıştığınızda oluşan kodlamada da aynı sorunla karşılaştım. Yukarıda belirtildiği gibi .encoding = "utf-8" eklenmesi, yazdırmaya çalışıyorsanız yardımcı olacaktır.

soup.encode ( "UTF-8")

Alıntılanan verileri açmaya ve belki de bir dosyaya yazmaya çalışıyorsanız, dosyayı (......, encoding = "utf-8") ile açın.

csv_file olarak open (dosyaadı_csv, 'w', newline = '', kodlama = "utf-8") ile:

Olanlar için hala ekleyerek, bu hatayı alıyorum encode("utf-8")için soupde bu çözecektir.

soup = BeautifulSoup(html_doc, 'html.parser').encode("utf-8")
print(soup)