Bir sonraki makul kelime tahminini elde etmek için hangi algoritmalar kullanılabilir?

"Sonraki kelime tahmini" ni uygulamanın iyi bir yolu nedir? Örneğin, kullanıcı "Ben" yazar ve bir sonraki kelime olarak "a" ve "değil" (veya muhtemelen diğerleri) önerir. Bunu başarmak için Markov Zincirler ve bazı eğitim metinlerini (açıkçası) kullanan bir yöntemin farkındayım. Ancak bir yerde bu yöntemin çok kısıtlayıcı olduğunu ve çok basit durumlar için geçerli olduğunu okudum.

Sinir ağlarının ve genetik algoritmaların temellerini anlıyorum. Acaba, uygun eğitim metni verildiğinde (örn. Gazete makaleleri ve kullanıcının kendi yazması gibi) bir sonraki kelime için makul olarak uygun öneriler getirebilecek herhangi bir algoritma olup olmadığını merak ediyorum. Değilse (algoritmalar) algoritmaları, bu soruna saldırmak için genel üst düzey yöntemler kabul edilir.

N-grama bir göz atın . Bir n-gram bir nkelime dizisidir . Sizin durumunuzda istediğiniz nolmaya 3Eğer iki gerekir, çünkü query wordsbir resulting word. Bir 3 gram örneğin "Yoruldum", diğeri "Mutluyum" olurdu.

O zaman ihtiyacınız olan şey, İngilizce dediğiniz hedef dilinizde toplanan bu 3 gramlık bir koleksiyon. İngilizce yazdığınız her şeyi toplayamadığınız için bir seçim yapmanız gerekiyor. Bu temsili metin seçimine a denir corpus. Eğer topluluğunuz iyiyse, üç belirli kelimeden oluşan bir dizinin İngilizcede ne sıklıkta ortaya çıktığını size söyleyecektir. Bundan 3 gramlık olasılığı hesaplayabilirsiniz.

Bu tür verileri toplamak en zor kısımdır. Olasılıkları ile birlikte tüm 3 gramların listesine sahip olduktan sonra, listeyi "Ben" ile başlayan tüm 3 gramlara göre filtreleyebilirsiniz. Sonra tüm bu listeyi olasılık ve voilà'ya göre sıralarsınız : tahmininiz.

Sorunlu etki alanı dize aramasının bir alt kümesi gibi görünüyor. Kelimeleri beyaz boşlukları içerecek şekilde genişleterek, burada bulanık dize eşleme uygulanabilir.

Eğitim sırasında sözlüğünüze ek olarak tüm kullanıcı girişlerini tek bir kelime olarak değerlendirmek / izin vermek isteyebilirsiniz. Bu, bir sonraki sözcüğü önermenizi sağlar, ancak aynı zamanda otomatik olarak sözcük veya kelime öbeklerini tamamlamanızı önerir.

Bulanık dizgi arama algoritmalarının bir derlemesine bir bağlantı

http://ntz-develop.blogspot.com/2011/03/fuzzy-string-search.html

(İstatistiksel) bir dil modeli arıyorsunuz .

İstatistiksel bir dil modeli, P(w_1,...,w_m)bir olasılık dağılımı yoluyla bir m kelime dizisine bir olasılık atar ...

Konuşma tanımada ve veri sıkıştırmada, böyle bir model bir dilin özelliklerini yakalamaya ve bir konuşma dizisindeki bir sonraki kelimeyi tahmin etmeye çalışır ...