Kelime önerileriyle birlikte bir yazım denetleyicisi uygularken genellikle hangi algoritma kullanılır?
İlk başta, yazılan her yeni kelimeyi (sözlükte yoksa) sözlükteki diğer her kelimeden Levenshtein mesafesine göre kontrol etmenin ve en iyi sonuçları döndürmenin mantıklı olacağını düşündüm . Ancak bu, tüm sözlüğü tekrar tekrar değerlendirmek zorunda kaldığı için oldukça verimsiz gibi görünüyor.
Bu genellikle nasıl yapılır?
Yanıtlar:
Yazım düzelticisinin nasıl uygulanacağı Peter Norvig tarafından yazılmış güzel bir makale var . Temel olarak, belirli bir düzenleme mesafesi ile aday dizeleri deneyen bir kaba kuvvet yaklaşımıdır. ( Bloom Filtresi ve daha hızlı aday karması kullanarak yazım düzeltici performansını nasıl iyileştirebileceğinize dair bazı ipuçlarını burada bulabilirsiniz .)
Yazım denetleyicisinin gereksinimleri daha zayıftır. Sadece sözlükte bir kelimenin olmadığını öğrenmen gerekiyor. Daha az bellek tüketen bir yazım denetleyici oluşturmak için Bloom Filtresi kullanabilirsiniz . Eski bir sürüm, İngilizce sözlük için 64kb kullanan Jon Bentley tarafından Programming Pearls'de açıklanmıştır.
Bir BK-Ağacı alternatif bir yaklaşımdır. Güzel bir makale burada .
Levenshstein mesafesi, bir yazım denetleyicisi için tam olarak doğru düzenleme mesafesi değildir. Yalnızca yerleştirmeyi, çıkarmayı ve değiştirmeyi bilir. Transpozisyon eksik ve 1 karakterlik transpozisyon için 2 üretiyor (1 silme ve 1 ekleme). Damerau-Levenshtein mesafesi doğru düzenleme mesafesidir.
Başarılı bir şekilde kullandığım ancak hiçbir yerde açıklanmayan öneriler üretmeye yönelik bir yaklaşım, "kötü" hash işlevlerini kullanarak önerileri önceden hesaplamaktır (sözlüğü oluştururken).
Buradaki fikir, insanların yaptığı yazım hatası türlerine bakmak ve doğru yazımla aynı kovaya yanlış yazım atayacak hash fonksiyonları tasarlamaktır.
Örneğin, yaygın bir hatadır gibi yanlış bir sesli kullanmaktır definate yerine kesin . Böylece tüm ünlüleri aynı harf olarak değerlendiren bir hash işlevi tasarlarsınız. Bunu yapmanın kolay bir yolu, önce giriş sözcüğünü "normalleştirmek" ve ardından normalleştirilmiş sonucu normal bir hash işlevi aracılığıyla koymaktır. Bu örnekte, normalleştirme işlevi tüm sesli harfleri bırakabilir, yani definiteolur dfnt. "Normalleştirilmiş" kelime daha sonra tipik bir hash fonksiyonu ile hash edilir.
Bu özel hash fonksiyonunu kullanarak tüm sözlük kelimelerinizi bir yardımcı dizine (karma tablo) ekleyin. Bu tablodaki paketler uzun çarpışma listelerine sahip olacaktır çünkü hash işlevi "kötüdür", ancak bu çarpışma listeleri esasen önceden hesaplanmış önerilerdir.
Şimdi, yanlış yazılmış bir kelime bulduğunuzda, yanlış yazımın yardımcı indekslerde eşlendiği kovanın çarpışma listelerine bakarsınız. Ta da: Bir öneri listeniz var! Tek yapmanız gereken, üzerindeki kelimeleri sıralamak.
Pratikte, çevrilmiş harfler, tek / çift harf ve hatta fonetik yazım hatalarını yakalamak için basit bir Soundex benzeri gibi diğer hata türlerini işlemek için diğer hash işlevlerine sahip birkaç yardımcı dizine ihtiyacınız olacak. Pratikte, basit telaffuzların uzun bir yol kat ettiğini ve aslında önemsiz yazım hatalarını bulmak için tasarlananların bazılarını geçersiz kıldığını buldum.
Artık yardımcı dizinlerdeki yanlış yazımlara bakarsınız ve sıralamadan önce çakışma listelerini birleştirirsiniz.
Çarpışma listelerinin yalnızca sözlükte bulunan sözcükleri içerdiğini unutmayın. Alternatif yazımlar üretmeye çalışan yaklaşımlarla (Peter Norvig makalesinde olduğu gibi), ilk önce sözlüğe göre filtrelemeniz gereken (on binlerce) adayı elde edebilirsiniz. Önceden hesaplanmış yaklaşımla, belki birkaç yüz aday elde edersiniz ve bunların hepsinin doğru yazıldığını bilirsiniz, böylece doğrudan sıralamaya geçebilirsiniz.
Güncelleme : O zamandan beri buna benzer bir algoritma açıklaması buldum, FAROO Dağıtılmış Arama . Bu hala düzenleme mesafesi sınırlı bir aramadır, ancak çok hızlıdır çünkü ön hesaplama adımı benim "kötü hash fonksiyonları" fikrim gibi çalışır. FAROO sadece sınırlı bir kötü hash işlevi kavramı kullanır.
Sözlükteki her kelime için tam düzenleme mesafesini bilmenize gerek yoktur. Algoritmayı bir limit değere ulaştıktan sonra durdurabilir ve kelimeyi hariç tutabilirsiniz. Bu size çok fazla bilgi işlem süresi kazandıracak.
Yazım denetleyicisinin uygulanması, Unix yazım programında olduğu gibi çok kolaydır. Kaynak kodu halka açık olarak mevcuttur. Düzeltme dahil edilebilir, bir teknik düzenleme yapmak ve bu yeni kelimenin sözlükte olup olmadığını tekrar kontrol etmektir. Bu tür yeni düzenlemeler gruplanabilir ve kullanıcıya gösterilebilir.
Unix sistemi Mc IllRoy tarafından yazılmış bir program kullanır. Alternatif bir yol, çok büyük dosyalar söz konusu olduğunda faydalı olabilecek bir Trie kullanmaktır.
Unix yaklaşımı, dağılım hash algoritması kullandığından, büyük bir sözlük için çok daha az alana ihtiyaç duyar.