Python'da UTF-8 dosyasına yaz

İle gerçekten kafam karıştı codecs.open function. Ben yaparken:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

Bana hata veriyor

UnicodeDecodeError: 'ascii' codec bileşeni 0 konumunda bayt 0xef kodunun kodunu çözemiyor: sıra değeri aralıkta değil (128)

Eğer yaparsam:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

İyi çalışıyor.

Soru , ilk yöntem neden başarısız oluyor? Ve bomba nasıl yerleştirilir?

İkinci yöntem bunu yapmanın doğru yoluysa, ne kullanıyorsunuz codecs.open(filename, "w", "utf-8")?

Sorunun codecs.BOM_UTF8bir bayt dizesi, bir Unicode dizesi olduğuna inanıyorum . Dosya işleyicisinin "Unicode'u UTF-8 kodlu metin olarak yazmayı amaçladım, ancak bana bir bayt dizesi verdiniz!"

Doğrudan bayt sırası işareti (yani Unicode U + FEFF) için Unicode dizesini yazmayı deneyin, böylece dosya bunu UTF-8 olarak kodlar:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(Bu doğru cevabı veriyor gibi görünüyor - bayt EF BB BF içeren bir dosya.)

EDIT: S. Lott kodlama olarak "utf-8-sig" kullanma önerisi açıkça BOM kendiniz yazmak daha iyidir, ama ben daha önce neyin yanlış gittiğini açıklar gibi bu cevap burada bırakacağım.

Aşağıdakileri okuyun: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Bunu yap

with codecs.open("test_output", "w", "utf-8-sig") as temp:
    temp.write("hi mom\n")
    temp.write(u"This has ♭")

Ortaya çıkan dosya beklenen BOM ile UTF-8'dir.

@ S-Lott doğru prosedürü verir, ancak Unicode konularını genişleterek Python yorumlayıcısı daha fazla bilgi sağlayabilir.

Jon Skeet codecsmodül hakkında doğru (olağandışı) - bayt dizeleri içeriyor:

>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>> 

Başka bir nit seçildiğinde, BOMstandart bir Unicode adı vardır ve şu şekilde girilebilir:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'

Ayrıca şunlara da erişilebilir unicodedata:

>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>> 

Bir utf-8 dosyasında bilinmeyen bir charset dosyasını dönüştürmek için * nix komutunu kullanıyorum

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()