Python'da bir dizenin ASCII'de olup olmadığını nasıl kontrol edebilirim?

Bir dize ASCII olup olmadığını kontrol etmek istiyorum.

Biliyorum ord(), ama denediğimde ord('é'), var TypeError: ord() expected a character, but string of length 2 found. Bunun Python'u oluşturma şeklimden kaynaklandığını anladım ( belgelerinde açıklandığı gibi)ord() ).

Kontrol etmenin başka bir yolu var mı?

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

Bence doğru soruyu sormuyorsun--

Python'daki bir dize, 'ascii', utf-8 veya başka bir kodlamaya karşılık gelen hiçbir özelliğe sahip değildir. Dizenizin kaynağı (ister bir dosyadan okuyun, ister klavyeden giriş yapın, vb.) Dizenizi üretmek için ascii'de bir unicode dizgiyi kodlamış olabilir, ancak yanıt için gitmeniz gereken yer burasıdır.

Belki de sorabileceğiniz soru şudur: "Bu dize, ascii'de bir unicode dizginin kodlanmasının sonucu mu?" - Bunu deneyerek cevaplayabilirsiniz:

try:
    mystring.decode('ascii')
except UnicodeDecodeError:
    print "it was not a ascii-encoded unicode string"
else:
    print "It may have been an ascii-encoded unicode string"

Python 3 yolu:

isascii = lambda s: len(s) == len(s.encode())

Kontrol etmek için test dizesini iletin:

str1 = "♥O◘♦♥O◘♦"
str2 = "Python"

print(isascii(str1)) -> will return False
print(isascii(str2)) -> will return True

Python 3.7'deki Yenilikler ( BPO32677 )

Artık yorucu / verimsiz ascii dizeleri kontrol etmez, yeni yerleşik str/ bytes/ bytearrayyöntemi - .isascii()dizelerin ascii olup olmadığını kontrol eder.

print("is this ascii?".isascii())
# True

Son zamanlarda böyle bir şeyle karşılaştım - gelecekteki referans için

import chardet

encoding = chardet.detect(string)
if encoding['encoding'] == 'ascii':
    print 'string is in ascii'

hangi ile kullanabilirsiniz:

string_ascii = string.decode(encoding['encoding']).encode('ascii')

Vincent Marchetti'nin doğru fikri var, ancak str.decodePython 3'te kullanımdan kaldırıldı. Python 3'te aynı testi aşağıdakilerle yapabilirsiniz str.encode:

try:
    mystring.encode('ascii')
except UnicodeEncodeError:
    pass  # string is not ascii
else:
    pass  # string is ascii

Ayrıca değiştiğini yakalama istediğiniz istisna Not UnicodeDecodeErroriçin UnicodeEncodeError.

Sorunuz yanlış; gördüğünüz hata, python'u nasıl oluşturduğunuzun değil, bayt dizeleri ve unicode dizeleri arasındaki karışıklığın sonucudur.

Bayt dizeleri (örneğin, python sözdiziminde "foo" veya "bar") sekizli dizileridir; 0-255 arası sayılar. Unicode dizeleri (örn. U "foo" veya u'bar '), unicode kod noktalarının dizileridir; 0-1112064 arasındaki numaralar. Ancak, (terminalinizde) tek bir karakteri temsil eden çok baytlık bir sıra olan é karakteriyle ilgileniyorsunuz.

Bunun yerine şunu ord(u'é')deneyin:

>>> [ord(x) for x in u'é']

Bu, hangi kod noktaları dizisinin "é" yi temsil ettiğini gösterir. Size verebilir [233] veya size verebilir [101, 770].

chr()Bunu tersine çevirmek yerine unichr():

>>> unichr(233)
u'\xe9'

Bu karakter aslında tek veya çoklu unicode "kod noktaları" olarak temsil edilebilir ve bunlar kendileri grafik veya karakterleri temsil eder. "Akut aksanlı (yani kod noktası 233)" veya "e" (kod noktası 101), ardından "önceki karakterde akut aksan" (kod noktası 770). Dolayısıyla bu aynı karakter Python veri yapısı u'e\u0301'veya u'\u00e9'.

Çoğu zaman bununla ilgilenmek zorunda kalmamalısınız, ancak unicode dize üzerinde yineleme yapıyorsanız, yineleme ayrıştırılabilir karakterle değil, kod noktasına göre çalışır. Başka bir deyişle, len(u'e\u0301') == 2ve len(u'\u00e9') == 1. Bu sizin için önemliyse, kullanarak oluşturulmuş ve ayrıştırılmış formlar arasında dönüştürme yapabilirsiniz unicodedata.normalize.

Unicode Sözlüğü , her bir özel terimin, metin gösteriminin birçok programcının fark ettiğinden çok daha karmaşık olan farklı bir bölümünü nasıl ifade ettiğini göstererek bu sorunların bazılarını anlamak için yararlı bir rehber olabilir.

Bunu yapmaya ne dersin?

import string

def isAscii(s):
    for c in s:
        if c not in string.ascii_letters:
            return False
    return True

Ben nasıl kodlama emin değildi bir dize / kod çözme / kod çözme (ve nasıl kaçış / bu dizede özel karakterler dönüştürmek) belirlemek çalışırken çalışırken bu soruyu buldum.

İlk adımım dize türünü kontrol etmek olmalıdır-orada biçimlendirme hakkında iyi veri alabilir tür (ler) farkında değildi. Bu cevap çok yardımcı oldu ve sorunlarımın gerçek köküne ulaştı.

Kaba ve ısrarcı biriyseniz

UnicodeDecodeError: 'ascii' codec bileşeni 263 konumundaki bayt 0xc3 kodunu çözemiyor: sıra değeri aralıkta değil (128)

özellikle ENCODING yaparken, zaten unicode IS olan bir dizeyi unicode () yapmaya çalışmadığınızdan emin olun - bazı korkunç nedenlerden dolayı ascii codec hatası alıyorsunuz. (Ayrıca bkz. Python Kitchen tarifi ve Python belgeleri ne kadar korkunç olabileceğini daha iyi anlamak için eğiticilerine bakın.)

Sonunda ne yapmak istediğimin şu olduğunu belirledim:

escaped_string = unicode(original_string.encode('ascii','xmlcharrefreplace'))

Ayrıca hata ayıklamada yararlı benim dosyamda varsayılan kodlama utf-8 (python dosyanızın başına koy):

# -*- coding: utf-8 -*-

Bu, özel karakterleri ('àéç') unicode çıkışlarını kullanmak zorunda kalmadan test etmenizi sağlar (u '\ xe0 \ xe9 \ xe7').

>>> specials='àéç'
>>> specials.decode('latin-1').encode('ascii','xmlcharrefreplace')
'àéç'

Alexander'ın çözümünü Python 2.6'dan (ve Python 3.x'te) geliştirmek için curses.ascii yardımcı modülünü kullanabilir ve curses.ascii.isascii () işlevini ya da diğerlerini kullanabilirsiniz: https://docs.python.org/2.6/ kütüphane / curses.ascii.html

from curses import ascii

def isascii(s):
    return all(ascii.isascii(c) for c in s)

Posix standart [[: ASCII:]] tanımını kabul eden normal ifade kitaplığını kullanabilirsiniz.

strPython'da bir acı ( -tipi) bir bayt serisidir. Orada hiçbir şekilde bayt bu dizi bir ascii dize, UTF-8 veya UTF-16 ya da her türlü ile kodlanmış ISO-8859-1 veya ip gibi bir 8-bit karakter kümesi bir dize temsil edip dize bakarak sadece anlatmanın .

Bununla birlikte, kullanılan kodlamayı biliyorsanız, decodestr'yi bir unicode dizgiye yerleştirebilir ve daha sonra endişe duyduğunuz aralığın dışında karakterler içerip içermediğini kontrol etmek için normal bir ifade (veya döngü) kullanabilirsiniz.

@ RogerDahl'ın cevabı gibi, ancak karakter sınıfını reddederek ve find_allveya yerine arama kullanarak kısa devre yapmak daha etkilidir match.

>>> import re
>>> re.search('[^\x00-\x7F]', 'Did you catch that \x00?') is not None
False
>>> re.search('[^\x00-\x7F]', 'Did you catch that \xFF?') is not None
True

Bunun için düzenli bir ifadenin iyi optimize edildiğini düşünüyorum.

import re

def is_ascii(s):
    return bool(re.match(r'[\x00-\x7F]+$', s))

ASCII olarak boş bir dize eklemek için değiştirmek +için *.

Kodunuzun kilitlenmesini önlemek try-exceptiçin yakalamak için birTypeErrors

>>> ord("¶")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ord() expected a character, but string of length 2 found

Örneğin

def is_ascii(s):
    try:
        return all(ord(c) < 128 for c in s)
    except TypeError:
        return False

Dize ascii veya unicode olup olmadığını belirlemek için aşağıdaki kullanın:

>> print 'test string'.__class__.__name__
str
>>> print u'test string'.__class__.__name__
unicode
>>> 

Ardından işlevi tanımlamak için koşullu bir blok kullanın:

def is_ascii(input):
    if input.__class__.__name__ == "str":
        return True
    return False