Python: \ xa0 dizeden kaldırılsın mı?

Şu anda bir HTML dosyasını ayrıştırmak ve çağırmak için Güzel Çorba kullanıyorum get_text(), ancak boşlukları temsil eden \ xa0 Unicode bir sürü bırakılıyor gibi görünüyor. Hepsini Python 2.7'de kaldırmanın ve boşluklara dönüştürmenin etkili bir yolu var mı? Daha genel bir soru olurdu, Unicode biçimlendirmesini kaldırmak için bir yolu var mı?

line = line.replace(u'\xa0',' ')Başka bir iş parçacığı tarafından önerildiği gibi : kullanarak denedim , ama bu \ xa0's u's değişti, bu yüzden şimdi bunun yerine her yerde "u" s var. ):

DÜZENLEME: Sorun çözülmüş gibi görünüyor str.replace(u'\xa0', ' ').encode('utf-8'), ama sadece .encode('utf-8')olmadan replace()yapmak örneğin garip karakterler, örneğin \ xc2 tükürmek neden gibi görünüyor. Bunu açıklayan var mı?

\ xa0 aslında Latin1'de (ISO 8859-1), ayrıca chr (160) da kırılmaz bir alandır. Bir boşlukla değiştirmelisiniz.

string = string.replace(u'\xa0', u' ')

.Encode ('utf-8') olduğunda, unicode'u utf-8 olarak kodlar, yani her unicode 1 ila 4 bayt ile temsil edilebilir. Bu durumda \ xa0, 2 bayt \ xc2 \ xa0 ile temsil edilir.

Http://docs.python.org/howto/unicode.html adresinde okuyun .

Lütfen dikkat: 2012'den itibaren bu cevap, Python devam etti, unicodedata.normalizeşimdi kullanabilmelisiniz

Python'un unicodedatakütüphanesinde birçok yararlı şey var . Bunlardan biri .normalize()fonksiyon.

Deneyin:

new_str = unicodedata.normalize("NFKD", unicode_str)

NFKD'yi, takip ettiğiniz sonuçları almazsanız yukarıdaki bağlantıda listelenen diğer yöntemlerden herhangi biriyle değiştirmek.

Senin satırın sonundaki .strip () kullanmayı deneyin line.strip()benim için iyi çalıştı

Birkaç yöntemi denedikten sonra, özetlemek gerekirse, ben böyle yaptım. Aşağıda, ayrıştırılmış HTML dizesinden \ xa0 karakterleri kullanmanın / kaldırmanın iki yolu vardır.

Ham html'mizin aşağıdaki gibi olduğunu varsayalım:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Bu HTML dizesini temizlemeye çalışalım:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Yukarıdaki kod bu karakterleri dizede \ xa0 üretir . Onları düzgün bir şekilde çıkarmak için iki yol kullanabiliriz.

Yöntem # 1 (Önerilen): İlki BeautifulSoup'un şerit argümanı True olarak get_text yöntemidir. Yani kodumuz şöyle olur:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Yöntem # 2: Diğer seçenek python kitaplığı unicodedata kullanmaktır

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Ayrıca , bu blogda başvurmak isteyebileceğiniz bu yöntemleri ayrıntılı olarak açıkladım.

bunu dene:

string.replace('\\xa0', ' ')

Python ile bir sqlite3 veritabanından bazı veriler çekerek bu aynı sorunla karşılaştım. Yukarıdaki cevaplar benim için işe yaramadı (neden olduğundan emin değilim), ama bu işe yaradı: line = line.decode('ascii', 'ignore')Ancak, amacım boşluklarla değiştirmek yerine \ xa0'ları silmekti.

Ned Batchelder'in bu süper yararlı unicode öğreticisinden aldım .

Burada yazdırılamayan karakterle ilgili sorun için googling yaparken sonunda. MySQL kullanıyorum UTF-8 general_cive lehçe ile ilgileniyorum. Sorunlu dizeler için aşağıdaki gibi işlem yapmam gerekiyor:

text=text.replace('\xc2\xa0', ' ')

Bu sadece hızlı bir çözümdür ve muhtemelen doğru kodlama kurulumu ile bir şey denemelisiniz.

Bu kodu deneyin

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

UTF-8'de 0xA0 (Unicode), 0xC2A0'dır. .encode('utf8')Unicode 0xA0'ınızı alır ve UTF-8'in 0xC2A0'ı ile değiştirir. Bu nedenle 0xC2'lerin görünüşü ... Muhtemelen şimdi fark ettiğiniz gibi kodlama yerini almıyor.

Boşluk karakterine eşdeğerdir, bu yüzden soy

print(string.strip()) # no more xa0

Güzel Çorba'da get_text()metnin başından ve sonundan itibaren beyaz boşluk bırakan strip parametresini iletebilirsiniz . Bu \xa0, dizenin başlangıcında veya sonunda oluşursa veya başka herhangi bir beyaz alanı kaldıracaktır . Güzel Çorba boş bir dize ile değiştirdi \xa0ve bu benim için sorunu çözdü.

mytext = soup.get_text(strip=True)

Normal ifadeye sahip genel sürüm (Tüm kontrol karakterlerini silecektir):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python bunu bir boşluk karakteri gibi tanır, böylece splitargüman olmadan ve normal bir boşlukla katılabilirsiniz:

line = ' '.join(line.split())