Uzun bir dizge listesinin (sözcüklerin) benzerlik gruplarında kümelenmesi

Elimde şu problem var: Çok uzun bir kelime listem var, muhtemelen isimler, soyadlar, vs. Bu kelime listesini kümelemeliyim, öyle ki benzer kelimeler, örneğin benzer düzenleme (Levenshtein) mesafeli kelimeler Aynı küme Örneğin, "algoritma" ve "alogrithm" aynı kümede görünmek için yüksek şansa sahip olmalıdır.

Örüntü Tanıma literatüründe K-ortalama kümeleme, EM kümeleme gibi klasik denetimsiz kümeleme yöntemlerinin farkındayım. Buradaki sorun, bu yöntemlerin bir vektör uzayda bulunan noktalar üzerinde çalışmasıdır. Elimde burda ipler var. Anlatılan çalışmalara göre, stringlerin sayısal bir vektör uzayında nasıl temsil edileceği ve string kümelerinin "araçlarının" hesaplanması sorusu yeterince cevaplanmıyor gibi görünüyor. Bu soruna saldırmak için naif bir yaklaşım, K-Means'ı Levenshtein mesafesi ile birleştirmek olacaktır, ancak soru hala "dizelerin" araçlarını "nasıl göstermeli?" Şeklindedir. TF-IDF ağırlığı olarak adlandırılan bir ağırlık var, ancak tek kelimelerin kümelenmesi için değil, çoğunlukla "metin belgesi" kümelemesi alanıyla ilgili görünüyor. http://pike.psu.edu/cleandb06/papers/CameraReady_120.pdf

Bu alandaki arayışım hala devam ediyor, ama buradan da fikir edinmek istedim. Bu durumda ne önerirsiniz, bu tür bir sorun için herhangi bir yöntemden haberdar olan var mı?

İkincil @ mican'ın yakınlık yayılımı için önerisi .

Makaleden: L Frey, Brendan J. ve Delbert Dueck. Msgstr "Veri noktaları arasında mesaj ileterek kümeleme." bilim 315.5814 (2007): 972-976. .

Pek çok pakette kullanımı kolaydır. İkili benzerliği tanımlayabileceğiniz herhangi bir şey üzerinde çalışır. Levenshtein mesafesini -1 ile çarparak elde edebilirsiniz.

Sorunuzun ilk paragrafını girdi olarak kullanarak birlikte hızlı bir örnek attım. Python 3'te:

import numpy as np
import sklearn.cluster
import distance

words = "YOUR WORDS HERE".split(" ") #Replace this line
words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

Çıktı şudur (kümelerin solundaki italikteki örnekler, örneklerdir):

• var: şans, düzenleme, el, sahip, yüksek
• takip ediyor: takip ediyor
• problem: problem
• Ben: Ben, listesinde, vb.
• muhtemelen: muhtemelen
• küme: küme
• kelime: Çünkü, uzun, ihtiyaç için, çok, sözcük, kelimeler
• benzer: benzer
• Levenstein: Levenstein
• mesafe: mesafe
• ile: o, bu, için, ile
• same: example, list, adlar, same, soyadları
• algoritma: algoritma, alogrithm
• görünmek: görünmek, görünmek

50 rasgele adın bir listesinde çalıştırılıyor :

• Diane: Deana, Diane, Dionne, Gerald, Irina, Lisette, Minna, Nicki, Ricki
• Jani: Clair, Jani, Jason, Jc, Kimi, Lang, Marcus, Maxima, Randi, Raul
• Verline: Destiny, Kellye, Marylin, Mercedes, Sterling, Verline
• Glenn: Elenor, Glenn, Gwenda
• Armandina: Armandina, Augustina
• Shiela: Ahmed, Estella, Milissa, Shiela, Thresa, Wynell
• Laureen: Sonbahar, Haydee, Laureen, Lauren
• Alberto: Albertha, Alberto, Robert
• Lore: Ammie, Doreen, Eura, Josef, Lore, Lori, Porter

Bana oldukça harika görünüyor (eğlenceliydi).

Louvain kümelemesi, Sınırlı Mahalle Arama Kümelemesi (RNSC), Affinity Propgation Kümelemesi (APC) veya Markov Kümesi algoritması (MCL) gibi grafik kümeleme algoritmaları kullanın.

Vektör uzayı modelini, vektör uzayı girişleri olarak kelimelerin n gramlarıyla deneyebilirsiniz. Bu durumda düzenleme mesafesi yerine kosinüs benzerliği gibi bir ölçü kullanmanız gerektiğini düşünüyorum.