Python'da bir dizedeki kaçış dizilerini işleme

Bazen bir dosyadan veya kullanıcıdan girdi aldığımda, içinde kaçış dizileri olan bir dize alırım. Kaçış dizilerini , Python'un dize değişmezlerindeki kaçış dizilerini işlediği şekilde işlemek istiyorum .

Örneğin şöyle myStringtanımlandığını varsayalım:

>>> myString = "spam\\neggs"
>>> print(myString)
spam\neggs

Bunu yapan bir işlev (onu arayacağım process) istiyorum :

>>> print(process(myString))
spam
eggs

İşlevin Python'daki tüm kaçış dizilerini işleyebilmesi önemlidir (yukarıdaki bağlantıda bir tabloda listelenmiştir).

Python'un bunu yapmak için bir işlevi var mı?

Yapılması gereken doğru şey, dizeyi çözmek için 'dizge-kaçış' kodunu kullanmaktır.

>>> myString = "spam\\neggs"
>>> decoded_string = bytes(myString, "utf-8").decode("unicode_escape") # python3 
>>> decoded_string = myString.decode('string_escape') # python2
>>> print(decoded_string)
spam
eggs

AST veya eval kullanmayın. Dize kodeklerini kullanmak çok daha güvenlidir.

unicode_escape genel olarak çalışmıyor

string_escapeVeya unicode_escapeçözümün genel olarak çalışmadığı ortaya çıktı - özellikle gerçek Unicode varlığında çalışmıyor.

ASCII olmayan tüm karakterlerin kaçılacağından emin olabilirseniz (ve ilk 128 karakterin dışındaki hiçbir şeyin ASCII olmadığını unutmayın), unicode_escapesizin için doğru olanı yapacaktır. Ancak dizenizde zaten ASCII olmayan herhangi bir gerçek karakter varsa, işler ters gidecektir.

unicode_escapetemelde baytları Unicode metne dönüştürmek için tasarlanmıştır. Ancak birçok yerde - örneğin, Python kaynak kodu - kaynak veriler zaten Unicode metindir.

Bunun doğru çalışmasının tek yolu, metni önce bayt olarak kodlamanızdır. UTF-8 tüm metinler için mantıklı bir kodlamadır, bu yüzden işe yaramalı, değil mi?

Aşağıdaki örnekler Python 3'tedir, böylece dize değişmezleri daha temizdir, ancak aynı sorun hem Python 2 hem de 3'te biraz farklı tezahürlerde mevcuttur.

>>> s = 'naïve \\t test'
>>> print(s.encode('utf-8').decode('unicode_escape'))
naïve   test

Eh, bu yanlış.

Metni metne dönüştüren codec bileşenlerini kullanmanın önerilen yeni yolu, codecs.decodedoğrudan aramaktır. Bu yardımcı olur mu?

>>> import codecs
>>> print(codecs.decode(s, 'unicode_escape'))
naïve   test

Bir şey değil. (Ayrıca, yukarıdaki Python 2'de bir UnicodeError'dır.)

unicode_escapeCodec, adına rağmen, tüm ASCII olmayan bayt Latin-1 (ISO-8859-1) kodlamada olduğunu varsaymak çıkıyor. Yani bunu şu şekilde yapmanız gerekir:

>>> print(s.encode('latin-1').decode('unicode_escape'))
naïve    test

Ama bu korkunç. Bu sizi 256 Latin-1 karakterle sınırlar, sanki Unicode hiç icat edilmemiş gibi!

>>> print('Ernő \\t Rubik'.encode('latin-1').decode('unicode_escape'))
UnicodeEncodeError: 'latin-1' codec can't encode character '\u0151'
in position 3: ordinal not in range(256)

Sorunu çözmek için bir normal ifade eklemek

(Şaşırtıcı bir şekilde, şu anda iki sorunumuz yok.)

Yapmamız gereken şey, unicode_escapekod çözücüyü yalnızca ASCII metni olduğundan emin olduğumuz şeylere uygulamaktır . Özellikle, bunu yalnızca ASCII metni olması garanti edilen geçerli Python kaçış dizilerine uyguladığımızdan emin olabiliriz.

Plan şu ki, normal bir ifade kullanarak kaçış dizileri bulacağız ve re.subonları kaçınılmamış değerleriyle değiştirmek için argüman olarak bir işlev kullanacağız .

import re
import codecs

ESCAPE_SEQUENCE_RE = re.compile(r'''
    ( \\U........      # 8-digit hex escapes
    | \\u....          # 4-digit hex escapes
    | \\x..            # 2-digit hex escapes
    | \\[0-7]{1,3}     # Octal escapes
    | \\N\{[^}]+\}     # Unicode characters by name
    | \\[\\'"abfnrtv]  # Single-character escapes
    )''', re.UNICODE | re.VERBOSE)

def decode_escapes(s):
    def decode_match(match):
        return codecs.decode(match.group(0), 'unicode-escape')

    return ESCAPE_SEQUENCE_RE.sub(decode_match, s)

Ve bununla:

>>> print(decode_escapes('Ernő \\t Rubik'))
Ernő     Rubik

Python 3 için gerçekten doğru ve uygun cevap:

>>> import codecs
>>> myString = "spam\\neggs"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
spam
eggs
>>> myString = "naïve \\t test"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
naïve    test

İlgili ayrıntılar codecs.escape_decode:

• codecs.escape_decode bayttan bayta kod çözücüdür
• codecs.escape_decodeascii kaçış dizilerinin kodunu çözer, örneğin: b"\\n"-> b"\n", b"\\xce"-> b"\xce".
• codecs.escape_decode bayt nesnesinin kodlamasıyla ilgilenmez veya bilmeye ihtiyaç duymaz, ancak kaçan baytların kodlaması nesnenin geri kalanının kodlamasıyla eşleşmelidir.

Arka fon:

• @rspeer doğru: python3unicode_escape için yanlış çözüm. Bunun nedeni unicode_escape, kaçan baytların kodunu çözmesi, ardından baytları unicode dizesine dönüştürmesi, ancak ikinci işlem için hangi codec bileşeninin kullanılacağına ilişkin hiçbir bilgi almamasıdır.
• @Jerub doğru: AST veya eval'dan kaçının.
• İlk codecs.escape_decodeolarak bu yanıttan "Python3'te nasıl .decode ('string-escape') yapabilirim?" Sorusunu keşfettim. . Bu yanıtın belirttiği gibi, bu işlev şu anda python 3 için belgelenmemiştir.

ast.literal_evalFonksiyon yakın geliyor ama dize düzgün ilk teklif edilecek bekleyecektir.

Elbette, Python'un ters eğik çizgi kaçışlarını yorumlaması, dizenin nasıl alıntı yapıldığına bağlıdır ( ""vs r""vs u"", üçlü tırnak işaretleri, vb.), Bu nedenle kullanıcı girişini uygun tırnaklarla sarmak ve 'e geçmek isteyebilirsiniz literal_eval. Bunu tırnak içine almak aynı zamanda literal_evalbir sayı, tuple, sözlük vb. Döndürmeyi de engelleyecektir .

Kullanıcı dizeyi sarmayı düşündüğünüz türde tırnaksız alıntılar yazarsa işler yine de karmaşıklaşabilir.

Bu, bunu yapmanın kötü bir yolu, ancak bir dizge bağımsız değişkeninde geçirilen kaçan sekizli sayıları yorumlamaya çalışırken benim için çalıştı.

input_string = eval('b"' + sys.argv[1] + '"')

Eval ve ast.literal_eval arasında bir fark olduğunu belirtmekte fayda var (çok daha güvensiz olarak değerlendirilir). Bkz . Python eval () ve ast.literal_eval () kullanmak?

Aşağıdaki kodun çalışması için \ n'nin dizede görüntülenmesi gerekiyor.

import string

our_str = 'The String is \\n, \\n and \\n!'
new_str = string.replace(our_str, '/\\n', '/\n', 1)
print(new_str)