Python unicode dizesindeki aksanları kaldırmanın en iyi yolu nedir?

Python bir Unicode dize var ve tüm aksanları (aksan) kaldırmak istiyorum.

Web'de bunu Java'da yapmanın zarif bir yolunu buldum:

1. Unicode dizesini normalleştirilmiş uzun biçimine dönüştürün (harfler ve aksan işaretleri için ayrı bir karakterle)
2. Unicode türü "aksan" olan tüm karakterleri kaldırın.

PyICU gibi bir kütüphane kurmam gerekir mi yoksa bu sadece python standart kütüphanesi ile mümkün mü? Peki ya python 3?

Önemli not: Aksanlı karakterlerden aksanlı olmayan karşılıklarına açık bir eşleme içeren koddan kaçınmak istiyorum.

Unidecode bunun için doğru cevaptır. Herhangi bir unicode dizeyi ASCII metninde mümkün olan en yakın temsile dönüştürür.

Misal:

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

Buna ne dersin:

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

Bu Yunan harfleri üzerinde de çalışır:

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

Karakter kategorisi "Mn" anlamına gelir Nonspacing_MarkMiniQuark yanıtında unicodedata.combining benzer olan (I unicodedata.combining düşünmedim ama daha açık olduğu için bu, muhtemelen daha iyi bir çözümdür).

Ve unutmayın, bu manipülasyonlar metnin anlamını önemli ölçüde değiştirebilir. Vurgular, Umlautlar vb. "Dekorasyon" değildir.

Bu yanıtı Web’de buldum:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

İyi çalışıyor (örneğin Fransızca için), ancak sanırım ikinci adım (aksanları kaldırmak) ASCII olmayan karakterleri bırakmaktan daha iyi işlenebilir, çünkü bu bazı diller için başarısız olacaktır (örneğin, Yunanca). En iyi çözüm muhtemelen aksan olarak etiketlenmiş unicode karakterleri açıkça kaldırmak olacaktır.

Düzenleme : bu hile yapar:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c)karakter cönceki karakterle birleştirilebiliyorsa true değerini döndürür , yani esasen bir aksan işaretiyse.

Edit 2 : bir bayt dizesi değil, remove_accentsbir unicode dizesi bekler . Bir bayt dizeniz varsa, bunun gibi bir unicode dizgiye kodunu çözmeniz gerekir:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

Aslında proje uyumlu python 2.6, 2.7 ve 3.4 üzerinde çalışıyorum ve ücretsiz kullanıcı girişlerinden kimlikler oluşturmam gerekiyor.

Sayende harikalar yaratan bu işlevi yarattım.

import re
import unicodedata

def strip_accents(text):
    """
    Strip accents from input String.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    try:
        text = unicode(text, 'utf-8')
    except (TypeError, NameError): # unicode is a default on python 3 
        pass
    text = unicodedata.normalize('NFD', text)
    text = text.encode('ascii', 'ignore')
    text = text.decode("utf-8")
    return str(text)

def text_to_id(text):
    """
    Convert input text to id.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    text = strip_accents(text.lower())
    text = re.sub('[ ]+', '_', text)
    text = re.sub('[^0-9a-zA-Z_-]', '', text)
    return text

sonuç:

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889")
>>> 'montreal_uber_1289_mere_francoise_noel_889'

Bu sadece aksanları değil, aynı zamanda "vuruşları" da (ø gibi) işler:

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

Bu gerçekten düşünebildiğim en şık yoldur (ve bu sayfadaki bir yorumda alexis tarafından belirtilmiştir), ancak gerçekten çok zarif olduğunu düşünmüyorum. Aslında, Unicode isimleri - gerçekten sadece isimler olduğu için, tutarlılık ya da herhangi bir şey için hiçbir garanti vermedikleri için, yorumlarda belirtildiği gibi, daha çok bir hack'tir.

Unicode adları 'WITH' içermediğinden, bununla işlenmeyen, ters ve ters harfler gibi hala özel harfler vardır. Yine de ne yapmak istediğinize bağlı. Bazen sözlük sıralama düzenine ulaşmak için aksan sıyırma ihtiyacım vardı.

NOTU DÜZENLE:

Yorumlardan gelen öneriler (arama hatalarını işleme, Python-3 kodu).

@ MiniQuark'ın cevabına yanıt olarak:

Ben yarım Fransızca (aksan içeren) ve ayrıca tamsayı ve yüzen olacak bazı dizeleri olan bir csv dosyasında okumaya çalışıyordu. Bir test olarak, test.txtşuna benzer bir dosya oluşturdum :

Montréal, über, 12.89, Mère, Françoise, noël, 889

Çizgileri dahil etmek 2ve 3(bir python biletinde bulduğum) işe almak ve @ Jabba'nın yorumunu dahil etmek zorunda kaldım :

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

Sonuç:

Montreal
uber
12.89
Mere
Francoise
noel
889

(Not: Mac OS X 10.8.4 ve Python 2.7.3 kullanıyorum)

gensim.utils.deaccent (metin) den Gensim - insanlar için başlık modelleme :

'Sef chomutovskych komunistu dostal postou bily prasek'

Başka bir çözüm unidecode .

İle önerilen çözüm olduğunu Not unicodedata tipik (örneğin o döner sadece bazı karakter aksan kaldırır 'ł'içine ''ziyade içine daha 'l').

Bazı diller aksanı belirtmek için aksan harflerini dil harfleri ve aksan aksanları olarak birleştirir.

Ben hangi diactrics şerit istediğini açıkça belirtmek daha güvenli olduğunu düşünüyorum:

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')):
    accents = set(map(unicodedata.lookup, accents))
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents]
    return unicodedata.normalize('NFC', ''.join(chars))