ASCII olmayan karakterleri nasıl kaldırabilirim ancak Python kullanarak nokta ve boşluk bırakabilirim?

Bir .txt dosyasıyla çalışıyorum. Dosyadan ASCII olmayan karakterler içermeyen bir metin dizesi istiyorum. Ancak boşluk ve nokta bırakmak istiyorum. Şu anda onları da çıkarıyorum. İşte kod:

def onlyascii(char):
    if ord(char) < 48 or ord(char) > 127: return ''
    else: return char

def get_my_string(file_path):
    f=open(file_path,'r')
    data=f.read()
    f.close()
    filtered_data=filter(onlyascii, data)
    filtered_data = filtered_data.lower()
    return filtered_data

Boşluk ve nokta bırakmak için onlyascii () 'yi nasıl değiştirmeliyim? Çok karmaşık olmadığını düşünüyorum ama çözemiyorum.

String.printable kullanarak dizeden yazdırılamayan tüm karakterleri aşağıdaki gibi filtreleyebilirsiniz :

>>> s = "some\x00string. with\x15 funny characters"
>>> import string
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, s)
'somestring. with funny characters'

makinemdeki string.printable şunları içerir:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~ \t\n\r\x0b\x0c

DÜZENLEME: Python 3'te, filtre bir yinelenebilir döndürür. Bir dizeyi geri almanın doğru yolu şudur:

''.join(filter(lambda x: x in printable, s))

Farklı bir codec bileşenine geçmenin kolay bir yolu, encode () veya decode () kullanmaktır. Sizin durumunuzda, ASCII'ye dönüştürmek ve desteklenmeyen tüm sembolleri yok saymak istiyorsunuz. Örneğin, İsveççe harf å bir ASCII karakteri değildir:

    >>>s = u'Good bye in Swedish is Hej d\xe5'
    >>>s = s.encode('ascii',errors='ignore')
    >>>print s
    Good bye in Swedish is Hej d

Düzenle:

Python3: str -> bayt -> str

>>>"Hej då".encode("ascii", errors="ignore").decode()
'hej d'

Python2: unicode -> str -> unicode

>>> u"hej då".encode("ascii", errors="ignore").decode()
u'hej d'

Python2: str -> unicode -> str (ters sırada deşifre edin ve kodlayın)

>>> "hej d\xe5".decode("ascii", errors="ignore").encode()
'hej d'

@Artfulrobot'a göre, bu filtre ve lambda'dan daha hızlı olmalıdır:

re.sub(r'[^\x00-\x7f]',r'', your-non-ascii-string) 

Burada daha fazla örnek görün http://stackoverflow.com/questions/20078816/replace-non-ascii-characters-with-a-single-space/20079244#20079244

Sorunuz belirsiz; birlikte alındığında ilk iki cümle, boşluk ve "noktanın" ASCII olmayan karakterler olduğuna inandığınızı gösterir. Bu yanlış. Ord (char) <= 127 gibi tüm karakterler ASCII karakterleridir. Örneğin, işleviniz şu karakterleri hariç tutuyor! "# $% & \ '() * +, -. / Ancak başka birkaç karakter de içerir, örneğin [] {}.

Lütfen geri çekilin, biraz düşünün ve ASCII sözcüğünden bahsetmeden ne yapmaya çalıştığınızı ve ord (char)> = 128 gibi karakterlerin neden göz ardı edilebilir olduğunu düşündüğünüzü anlatmak için sorunuzu düzenleyin. Ayrıca: Python'un hangi sürümü? Giriş verilerinizin kodlaması nedir?

Lütfen kodunuzun tüm girdi dosyasını tek bir dize olarak okuduğunu ve başka bir yanıta yönelik yorumunuzun ("harika çözüm") verilerinizdeki yeni satırları umursamadığınız anlamına geldiğini unutmayın. Dosyanız aşağıdaki gibi iki satır içeriyorsa:

this is line 1
this is line 2

sonuç olurdu 'this is line 1this is line 2' ... gerçekten istediğin bu mu?

Daha büyük bir çözüm şunları içerecektir:

1. filtre işlevi için daha iyi bir isim onlyascii

2. bağımsız değişken korunacaksa, bir filtre işlevinin yalnızca doğru bir değer döndürmesi gerektiğinin tanınması:

   def filter_func(char):
       return char == '\n' or 32 <= ord(char) <= 126
   # and later:
   filtered_data = filter(filter_func, data).lower()

İngilizce olmayan harfleri kaldırmak için aşağıdaki kodu kullanabilirsiniz:

import re
str = "123456790 ABC#%? .(朱惠英)"
result = re.sub(r'[^\x00-\x7f]',r'', str)
print(result)

Bu geri dönecek

123456790 ABC #%? . ()

Yazdırılabilir ascii karakterleri istiyorsanız, muhtemelen kodunuzu şu şekilde düzeltmelisiniz:

if ord(char) < 32 or ord(char) > 126: return ''

bu, string.printabledönüşlerin ve sekmelerin ('\ t', '\ n', '\ x0b', '\ x0c' ve '\ r') olmaması dışında (@jterrace'den yanıt) ile eşdeğerdir, ancak şuna karşılık gelmez Sorunuzdaki aralık

Fluent Python (Ramalho) ile kendi yöntemimle çalışmak - şiddetle tavsiye edilir. Bölüm 2'den esinlenerek anlama tek-satırları listeleyin:

onlyascii = ''.join([s for s in data if ord(s) < 127])
onlymatch = ''.join([s for s in data if s in
              'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'])