Python'da dize slugification

"Sümüklü böcek" dizesini "sümüklü böcek" haline getirmenin en iyi yolunu arıyorum ve mevcut çözümüm bu tarife dayanıyor

Bunu biraz değiştirdim:

s = 'String to slugify'

slug = unicodedata.normalize('NFKD', s)
slug = slug.encode('ascii', 'ignore').lower()
slug = re.sub(r'[^a-z0-9]+', '-', slug).strip('-')
slug = re.sub(r'[-]+', '-', slug)

Bu kodla ilgili herhangi bir sorun gören var mı? İyi çalışıyor, ama belki bir şeyi kaçırıyorum veya daha iyi bir yol biliyorsunuz?

python-slugifyAdında bir python paketi var ve bu oldukça iyi bir slugifying işi yapıyor:

pip install python-slugify

Şu şekilde çalışır:

from slugify import slugify

txt = "This is a test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = "This -- is a ## test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = 'C\'est déjà l\'été.'
r = slugify(txt)
self.assertEquals(r, "cest-deja-lete")

txt = 'Nín hǎo. Wǒ shì zhōng guó rén'
r = slugify(txt)
self.assertEquals(r, "nin-hao-wo-shi-zhong-guo-ren")

txt = 'Компьютер'
r = slugify(txt)
self.assertEquals(r, "kompiuter")

txt = 'jaja---lol-méméméoo--a'
r = slugify(txt)
self.assertEquals(r, "jaja-lol-mememeoo-a")

Daha fazla örnek görün

Bu paket, gönderdiklerinizden biraz daha fazlasını yapar (kaynağa bir bakın, bu sadece bir dosya). Proje hala aktif (ilk yanıtlamamdan 2 gün önce, yedi yıl sonra (en son 2020-06-30 kontrol edildi) güncellendi, hala güncelleniyor).

dikkatli : Etrafta adında ikinci bir paket var slugify. İkisine de sahipseniz, içe aktarma için aynı ada sahip oldukları için bir sorunla karşılaşabilirsiniz. Adı geçen kişi slugifyhızlı kontrol ettiğim her şeyi yapmadı: "Ich heiße"oldu "ich-heie"(olmalı "ich-heisse"), bu yüzden pipveya kullanırken doğru olanı seçtiğinizden emin olun easy_install.

Unicode desteği için unidecode formunu buradan yükleyin

pip yüklemek unidecode

# -*- coding: utf-8 -*-
import re
import unidecode

def slugify(text):
    text = unidecode.unidecode(text).lower()
    return re.sub(r'[\W_]+', '-', text)

text = u"My custom хелло ворлд"
print slugify(text)

>>> benim-özel-khello-vorld

Awesome-slugify adında bir python paketi var :

pip install awesome-slugify

Şu şekilde çalışır:

from slugify import slugify

slugify('one kožušček')  # one-kozuscek

harika slugify github sayfası

Bu iyi çalışır Django iyi bir genel amaçlı slugify fonksiyonu olmaz neden görmüyorum bu yüzden.

Bununla ilgili herhangi bir sorunun var mı?

Sorun, ascii normalleştirme hattında:

slug = unicodedata.normalize('NFKD', s)

Çok sayıda karakteri ascii'ye ayırmayan unicode normalleştirme denir . Örneğin, ascii olmayan karakterleri aşağıdaki dizelerden çıkarır:

Mørdag -> mrdag
Æther -> ther

Bunu yapmanın daha iyi bir yolu, dizeleri ascii'ye çevirmeye çalışan unidecode modülünü kullanmaktır . Dolayısıyla, yukarıdaki satırı şu şekilde değiştirirseniz:

import unidecode
slug = unidecode.unidecode(s)

Yukarıdaki dizeler ve birçok Yunanca ve Rusça karakter için de daha iyi sonuçlar alırsınız:

Mørdag -> mordag
Æther -> aether

def slugify(value):
    """
    Converts to lowercase, removes non-word characters (alphanumerics and
    underscores) and converts spaces to hyphens. Also strips leading and
    trailing whitespace.
    """
    value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore').decode('ascii')
    value = re.sub('[^\w\s-]', '', value).strip().lower()
    return mark_safe(re.sub('[-\s]+', '-', value))
slugify = allow_lazy(slugify, six.text_type)

Bu, django.utils.text içinde bulunan slugify işlevidir.

Unidecode iyidir; ancak dikkatli olun: unidecode GPL'dir. Bu lisans daha sonra uygun kullanmıyorsa bu bir

GitHub'da birkaç seçenek:

1. https://github.com/dimka665/awesome-slugify
2. https://github.com/un33k/python-slugify
3. https://github.com/mozilla/unicode-slugify

Her biri, API'si için biraz farklı parametreleri destekler, bu nedenle neyi tercih ettiğinizi bulmak için incelemeniz gerekir.

Özellikle, ASCII olmayan karakterlerle uğraşmak için sağladıkları farklı seçeneklere dikkat edin. Pydanny, bu slugify'ing kitaplıklarındaki bazı unicode işleme farklılıklarını gösteren çok yararlı bir blog yazısı yazdı: http://www.pydanny.com/awesome-slugify-human-readable-url-slugs-from-any-string.html Mozilla'nınki unicode-slugifyartık Django'ya özgü olmadığı için bu blog yazısı biraz eski .

Ayrıca şu anda awesome-slugifyGPLv3 olduğunu unutmayın , ancak yazarın yasallıktan emin olmadan MIT / BSD olarak yayınlamayı tercih edeceğini söylediği bir açık sorun var: https://github.com/dimka665/awesome-slugify/issues/ 24

Son satırı şu şekilde değiştirmeyi düşünebilirsiniz:

slug=re.sub(r'--+',r'-',slug)

desen [-]+farklı olmadığı -+ve yalnızca bir kısa çizgiyi eşleştirmeyi gerçekten önemsemediğiniz için, yalnızca iki veya daha fazla.

Ama elbette bu oldukça önemsiz.

Başka bir seçenek de boltons.strutils.slugify. Boltons'un pek çok başka yararlı işlevi de vardır ve bir BSDlisans altında dağıtılır .