Levenshtein mesafesini hızlı bir şekilde hesaplamak

İzin verilen kelimelerin (alfabetik olarak sıralanmış) ve kelimelerin büyük bir veri tabanı göz önüne alındığında, verilen kelimeye en yakın olan veri tabanını Levenshtein mesafesi cinsinden bulun.

Doğal yaklaşım, elbette, verilen kelime ile sözlükteki tüm kelimeler arasındaki levenshtein mesafesini basitçe hesaplamaktır (mesafeleri hesaplamadan önce veritabanında ikili bir arama yapabiliriz).

Bu soruna daha etkili bir çözüm olup olmadığını merak ediyorum. Belki aranacak kelimelerin sayısını azaltmamıza ya da levenshtein uzaklık algoritmasında optimizasyon yapmamıza izin veren sezgisel.

Konuyla ilgili makalelere linkler kabul edilir.

İstediğiniz şey, düzenleme mesafesinin altındaki komşu aramaların sorunu. Teorik sonuçlarla ya da sezgisel taramalarla ilgilenip ilgilenmediğinizi söylemediniz, bu yüzden eskisine cevap vereceğim.

Düzenleme mesafesi, komşu yakın arama yapılarının oluşturulması için uğraşılması biraz zor. Asıl sorun, bir ölçü olarak, boyutsallık azaltma ve yaklaştırma amacıyla, gibi diğer iyi bilinen kötü ölçütler gibi . Bu konuyla ilgili okumak için oldukça geniş bir çalışma alanı var ve en iyi kaynağınız Alex Andoni'nin bildiri dizileridir: işaretçileri geriye doğru izleyerek (örneğin, FOCS 2010 belgesinden) iyi bir kaynak kümesi elde edersiniz.$\ell_1$

Levenshtein otomatları: http://en.wikipedia.org/wiki/Levenshtein_automaton

BK ağaçları: http://en.wikipedia.org/wiki/BK-tree

Hoşgörüleceğiniz az sayıda yanlış düzenleme varsa, noktalı bir sonek ağacı kullanmayı deneyebilirsiniz . Feragatname: Bu kağıdı ben yazdım, ancak istediğinizi çözdü: disk alanı maliyeti yüksek, ancak sorgular gerçekten hızlı.

Genel olarak, ona başka yollarla bakmak daha iyidir: sözlükteki tüm kelimelerin bir dizinine sahipsin. Şimdi, bir w kelimesi için, eğer sözlüğün içindeyse, dur. Aksi takdirde, 1. mesafedeki tüm varyasyonları oluşturun ve bunları arayın. Onlar orada değilse, mesafe 2'deki değişiklikleri arayın, vb.

Bu temel fikirde birkaç gelişme var.

$O(m^{k+1} \cdot \sigma^{k})$$m$$\sigma$$k$

Cs.stackexchange.com ( /cs//a/2096/1490 ) adresindeki benzer bir soruya cevap yazdım ve sonra bu soruyu buldum. Buradaki cevap düzenleme mesafesindeki yaklaşık yakın komşu aramaya yöneliktir (yani algoritma, sorgu dizesinin en yakın komşusu kadar sorgu dizesine yaklaşık olarak yakın olan bir dize verir). Ben burada gönderiyorum çünkü burada verilen cevaplarda verdiğim referansları bulamadım.

İstediğiniz şeyin Wagner-Fischer algoritması olduğunu düşünüyorum: https://en.wikipedia.org/wiki/Wagner%E2%80%93Fischer_algorithm Geçiş yaptığınız sözlük birbiri ardına sıralanan iki kelimenin sıralandığından beri uzun bir ön ek paylaşma olasılığı yüksektir, bu nedenle her uzaklık hesaplaması için tüm matrisi güncellemenize gerek kalmaz.

Kullanabilir mi demek istedin?

Ve sonra "Şunu mu demek istediniz" "ile verilen cevap ile Dinamik Programlamayı kullanarak giriş dizgisi arasındaki Levenshtein mesafesini bulun.

Bir yol, kelimeleri vektörlerle eşlemek ve levenstein mesafesini öklid mesafesine eşlemek için bir makine öğrenme modelini eğitmektir. Daha sonra kullanmak istediğiniz sözlük için vektörlerden bir KDTree oluşturabilirsiniz. Bunu yapan bir jupyter notebooku yarattım: https://gist.github.com/MichaelSnowden/9b8b1e662c98c514d571f4d5c20c3a03

DW'nun yorumlarına göre:

1. Eğitim prosedürü = adaptif gradyanlar ile stokastik gradyan inişi
2. kayıp fonksiyonu = gerçek düzenleme mesafesi ile öklid mesafesi arasındaki ortalama kare hatası
3. eğitim verileri = 1 - 32 karakter uzunluğunda rasgele dizeler (genel yazım hatalarının gerçek dağılımına uyan verilerle daha iyi olabilir)
4. kantitatif sonuçlar: 2048 parti büyüklüğünde (duvar süresi = yaklaşık bir dakika) kabaca 150 dönem için eğitimden sonra, 512 boyutunda kelime eklemeleri kullanarak, bir gizli katmanı olan, gerçek düzenleme mesafesi ile öngörülen düzenleme mesafesi arasındaki ortalama mutlak hata Tahmin edilen düzenleme mesafesinin aşağı yukarı bir karakter olduğu anlamına gelir

Model yapısının özeti:

1. Boş karakter dahil her karakter için öğrenilmiş bir gömme oluşturma (daha sonra karakter sınırının altındaki metni sağa kaydırmak için kullanılır)
2. Metnin sağ tarafını boş karakter ile karakter sınırına gelinceye kadar boş bırakın (32)
3. Bu yerleştirmeleri birleştir
4. Daha düşük boyutlu bir kelime gömme (512 boyutlu) oluşturmak için yerleştirmeleri ileri beslemeli bir sinir ağından geçirin
5. Bunu her iki kelime için de yap
6. Vektörler arasındaki öklid mesafesini bulun
7. Kaybı, gerçek Levenshtein mesafesi ile öklid mesafesi arasındaki ortalama kare hatası olarak ayarlayın.

Eğitim verilerim rastgele dizelerdir, ancak eğitim verilerinin (yazım hatası / doğru kelime) çift olması durumunda sonuçların gerçekten iyileşebileceğini düşünüyorum. /usr/share/dict/wordsYaygın olarak kullanılabildiğim için kullanmaya başladım .