Python'da bir dizeden yazdırılamayan karakterleri çıkarma

Koşmak için kullanırım

$s =~ s/[^[:print:]]//g;

Yazdırılamayan karakterlerden kurtulmak için Perl'de.

Python'da POSIX regex sınıfı yoktur ve istediğim anlamına gelen [: print:] yazamıyorum. Python'da bir karakterin yazdırılabilir olup olmadığını algılamanın bir yolunu bilmiyorum.

Sen ne yapardın?

DÜZENLEME: Unicode karakterlerini de desteklemesi gerekir. String.printable yolu onları mutlu bir şekilde çıktıdan çıkaracaktır. curses.ascii.isprint, herhangi bir unicode karakter için yanlış döndürür.

Python'da dizelerin üzerinde yineleme yapmak maalesef oldukça yavaştır. Düzenli ifadeler bu tür şeyler için çok daha hızlıdır. Sadece karakter sınıfını kendiniz oluşturmalısınız. Unicodedata modül, özellikle bunun için oldukça yararlıdır unicodedata.category () fonksiyonu. Kategorilerin açıklamaları için Unicode Karakter Veritabanı'na bakın .

import unicodedata, re, itertools, sys

all_chars = (chr(i) for i in range(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(chr, itertools.chain(range(0x00,0x20), range(0x7f,0xa0))))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

Python2 için

import unicodedata, re, sys

all_chars = (unichr(i) for i in xrange(sys.maxunicode))
categories = {'Cc'}
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) in categories)
# or equivalently and much more efficiently
control_chars = ''.join(map(unichr, range(0x00,0x20) + range(0x7f,0xa0)))

control_char_re = re.compile('[%s]' % re.escape(control_chars))

def remove_control_chars(s):
    return control_char_re.sub('', s)

Bazı kullanım durumları için, ek kategoriler (örneğin, kontrol grubundaki tümü tercih edilebilir, ancak bu, işlem süresini yavaşlatabilir ve bellek kullanımını önemli ölçüde artırabilir. Kategori başına karakter sayısı:

• Cc (kontrol): 65
• Cf (biçim): 161
• Cs (vekil): 2048
• Co (özel kullanım): 137468
• Cn (belirtilmemiş): 836601

Düzenleme yorumlardan önerilerini ekleme.

Bildiğim kadarıyla, en pitonik / verimli yöntem şöyle olurdu:

import string

filtered_string = filter(lambda x: x in string.printable, myStr)

Şu unicodedata.category()işlevi kullanarak bir filtre oluşturmayı deneyebilirsiniz :

import unicodedata
printable = {'Lu', 'Ll'}
def filter_non_printable(str):
  return ''.join(c for c in str if unicodedata.category(c) in printable)

Kullanılabilir kategoriler için Unicode veritabanı karakter özelliklerinde Tablo 4-9 sayfa 175'e bakın.

Python 3'te,

def filter_nonprintable(text):
    import itertools
    # Use characters of control category
    nonprintable = itertools.chain(range(0x00,0x20),range(0x7f,0xa0))
    # Use translate to remove all non-printable characters
    return text.translate({character:None for character in nonprintable})

.Translate () işlevinin regex ve .replace () ile nasıl karşılaştırıldığını öğrenmek için noktalama işaretlerini kaldırmayla ilgili bu StackOverflow gönderisine bakın.

Aralıklar, @Ants Aasma tarafından gösterildiği gibi Unicode karakter veritabanı kategorilerinonprintable = (ord(c) for c in (chr(i) for i in range(sys.maxunicode)) if unicodedata.category(c)=='Cc') kullanılarak oluşturulabilir .

Aşağıdakiler Unicode girişi ile çalışacaktır ve oldukça hızlıdır ...

import sys

# build a table mapping all non-printable characters to None
NOPRINT_TRANS_TABLE = {
    i: None for i in range(0, sys.maxunicode + 1) if not chr(i).isprintable()
}

def make_printable(s):
    """Replace non-printable characters in a string."""

    # the translate method on str removes characters
    # that map to None from the string
    return s.translate(NOPRINT_TRANS_TABLE)


assert make_printable('Café') == 'Café'
assert make_printable('\x00\x11Hello') == 'Hello'
assert make_printable('') == ''

Kendi testlerim, bu yaklaşımın dizi üzerinde yinelenen ve kullanarak bir sonuç döndüren işlevlerden daha hızlı olduğunu gösteriyor str.join.

Bu işlev liste anlamalarını ve str.join'i kullanır, bu nedenle O (n ^ 2) yerine doğrusal zamanda çalışır:

from curses.ascii import isprint

def printable(input):
    return ''.join(char for char in input if isprint(char))

Yine python 3'te başka bir seçenek:

re.sub(f'[^{re.escape(string.printable)}]', '', my_string)

Şu anda bulduğum en iyi şey (yukarıdaki piton düzenleyiciler sayesinde)

def filter_non_printable(str):
  return ''.join([c for c in str if ord(c) > 31 or ord(c) == 9])

Unicode karakterleri / dizeleri ile çalıştığını bulduğum tek yol bu

Daha iyi seçenek var mı?

Aşağıdaki, yukarıdakilerden daha hızlı performans gösterir. Bir göz at

''.join([x if x in string.printable else '' for x in Str])

Python'da POSIX normal ifade sınıfı yoktur

regexKitaplığı kullanırken : https://pypi.org/project/regex/

İyi korunur ve Unicode regex, Posix regex ve daha fazlasını destekler. Kullanım (yöntem imzaları) Python'unkine çok benzer re.

Belgelerden:

[[:alpha:]]; [[:^alpha:]]

POSIX karakter sınıfları desteklenir. Bunlar normalde alternatif bir biçim olarak ele alınır \p{...}.

(Bağlı değilim, sadece bir kullanıcı.)

@ Ber'in cevabına dayanarak, yalnızca Unicode karakter veritabanı kategorilerinde tanımlanan kontrol karakterlerini kaldırmanızı öneririm :

import unicodedata
def filter_non_printable(s):
    return ''.join(c for c in s if not unicodedata.category(c).startswith('C'))

'Beyaz boşluk'u kaldırmak için,

import re
t = """
\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>
"""
pat = re.compile(r'[\t\n]')
print(pat.sub("", t))

Ants Aasma ve shawnrad'ın yanıtlarından uyarlanmıştır :

nonprintable = set(map(chr, list(range(0,32)) + list(range(127,160))))
ord_dict = {ord(character):None for character in nonprintable}
def filter_nonprintable(text):
    return text.translate(ord_dict)

#use
str = "this is my string"
str = filter_nonprintable(str)
print(str)

Python 3.7.7'de test edildi