ASCII olmayan karakterleri tek bir boşlukla değiştirme

ASCII olmayan (\ x00- \ x7F) karakterleri bir boşlukla değiştirmem gerekiyor. Bir şey eksik olmadıkça Python'da bunun kolay kolay olmadığına şaşırdım. Aşağıdaki işlev ASCII olmayan tüm karakterleri kaldırır:

def remove_non_ascii_1(text):

    return ''.join(i for i in text if ord(i)<128)

Ve bu ASCII olmayan karakterleri karakter kodu noktasındaki bayt miktarına göre boşluk miktarıyla –değiştirir (yani, karakter 3 boşlukla değiştirilir):

def remove_non_ascii_2(text):

    return re.sub(r'[^\x00-\x7F]',' ', text)

ASCII olmayan tüm karakterleri tek bir boşlukla nasıl değiştirebilirim?

Of sayısız ait benzer SO sorular , hiçbiri adresi karakter yedek olarak karşıt için sıyırma , ve ayrıca tüm ASCII olmayan karakterler değil, belirli bir karakter yöneliktir.

Sizin ''.join()ifade edilir filtreleme şey ASCII olmayan kaldırarak; bunun yerine koşullu bir ifade kullanabilirsiniz:

return ''.join([i if ord(i) < 128 else ' ' for i in text])

Bu, karakterleri tek tek işler ve değiştirilen her karakter için bir boşluk kullanır.

Normal ifadeniz yalnızca ardışık ASCII olmayan karakterlerin yerine bir boşluk koymalıdır :

re.sub(r'[^\x00-\x7F]+',' ', text)

Not +orada.

Sizin için orijinal dizenizin en benzer temsilini almak için unidecode modülünü tavsiye ederim :

from unidecode import unidecode
def remove_non_ascii(text):
    return unidecode(unicode(text, encoding = "utf-8"))

Sonra bir dizede kullanabilirsiniz:

remove_non_ascii("Ceñía")
Cenia

İçin karakter işleme, Unicode dizeleri kullanın:

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABC马克def'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s)   # Each char is a Unicode codepoint.
'ABC  def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC      def'

Ancak dizenizde ayrıştırılmış Unicode karakterler varsa (örneğin ayrı karakter ve aksan işaretlerini birleştirme) sorun yaşamaya devam edeceğinizi unutmayın:

>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'mañana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'

Değiştirme karakteri '?' bir boşluk yerine, şunu öneririm result = text.encode('ascii', 'replace').decode():

"""Test the performance of different non-ASCII replacement methods."""


import re
from timeit import timeit


# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000


print(timeit(
    """
result = ''.join([c if ord(c) < 128 else '?' for c in text])
    """,
    number=1000,
    globals=globals(),
))

print(timeit(
    """
result = text.encode('ascii', 'replace').decode()
    """,
    number=1000,
    globals=globals(),
))

Sonuçlar:

0.7208260721400134
0.009975979187503592

Peki ya bu?

def replace_trash(unicode_string):
     for i in range(0, len(unicode_string)):
         try:
             unicode_string[i].encode("ascii")
         except:
              #means it's non-ASCII
              unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
     return unicode_string

Yerel ve etkili bir yaklaşım olarak, ordkarakterler üzerinde veya herhangi bir döngü kullanmanıza gerek yoktur . Sadece kodlayın asciive hataları görmezden gelin.

Aşağıdaki sadece ascii olmayan karakterleri kaldıracaktır:

new_string = old_string.encode('ascii',errors='ignore')

Şimdi silinen karakterleri değiştirmek istiyorsanız aşağıdakileri yapın:

final_string = new_string + b' ' * (len(old_string) - len(new_string))

Potansiyel olarak farklı bir soru için, ama @ Alvero'nun yanıtı (unidecode kullanarak) sürümümü veriyorum. Dizelerimde "normal" bir şerit yapmak, yani boşluk karakterleri için dizgimin başlangıcını ve sonunu yapmak ve sonra sadece diğer boşluk karakterlerini "normal" boşlukla değiştirmek istiyorum.

"Ceñíaㅤmañanaㅤㅤㅤㅤ"

için

"Ceñía mañana"

,

def safely_stripped(s: str):
    return ' '.join(
        stripped for stripped in
        (bit.strip() for bit in
         ''.join((c if unidecode(c) else ' ') for c in s).strip().split())
        if stripped)

Önce unicode olmayan tüm alanları normal bir alanla değiştiririz (ve tekrar birleştiririz),

''.join((c if unidecode(c) else ' ') for c in s)

Ve sonra tekrar python'un normal bölünmesiyle böldük ve her bir "bit" i soyuyoruz,

(bit.strip() for bit in s.split())

Ve son olarak bunları tekrar birleştirin, ancak sadece dize bir iftesti geçerse ,

' '.join(stripped for stripped in s if stripped)

Ve bununla, safely_stripped('ㅤㅤㅤㅤCeñíaㅤmañanaㅤㅤㅤㅤ')doğru bir şekilde geri döner 'Ceñía mañana'.