Metin belgesi için özellik vektörü oluşturmak için bigram (N-gram) modeli kullanma ile ilgili

Metin madenciliği için geleneksel özellik yapım yaklaşımı, kelime torbası yaklaşımıdır ve belirli bir metin belgesini karakterize eden özellik vektörünü ayarlamak için tf-idf kullanılarak geliştirilebilir. Şu anda, özellik vektörü oluşturmak için bi-gram dil modeli veya (N-gram) kullanmaya çalışıyorum, ancak bunu nasıl yapacağımı tam olarak bilmiyorum? Sadece kelime torbası yaklaşımını izleyebilir miyiz, yani, frekans sayısını kelimeler yerine bi-gram cinsinden hesaplayabilir ve tf-idf ağırlıklandırma şemasını kullanarak artırabilir miyiz?

Evet. Bu, daha birçok özellik yaratacaktır: Sınıflandırıcınızı çok fazla gürültüyle boğmamak için bazı kesme (örneğin, bi-gram veya veri kümenizde 5 kereden daha az ortaya çıkan kelimeler) atmak önemli olabilir. özellikleri.

Bigram sayısı sadece karşılıklı karşılıklı bilgi sahibi olanlar seçilerek azaltılabilir.

Bunu, http://www.inex.otago.ac.nz/tracks/wiki-mine/wiki-mine.asp INEX XML Madencilik parkurunda bir torba bigram temsili oluşturmak için yaptık .

Denemediğimiz şey, iki gramın ağırlıklandırılması terimleri arasındaki karşılıklı bilgileri kullanmaktır. Bkz. Https://en.wikipedia.org/wiki/Pointwise_mutual_information , https://www.eecis.udel.edu/~trnka/CISC889-11S/lectures/philip-pmi.pdf ve http: //www.nltk. Bigramlar için noktasal karşılıklı bilgilerin daha iyi bir açıklaması için org / howto / collocations.html .

Bkz. Https://stackoverflow.com/questions/20018730/computing-pointwise-mutual-information-of-a-text-document-using-python ve /programming/22118350/python-sentiment-analysis Bununla ilgili diğer sorular için -uluşma-puan-karşılıklı-bilgi .

Verilerin boyutsallığını azaltmak için rastgele projeksiyonlar kullanmak, özellikleri depolamak için gereken alanı azaltmak için yararlı olabilir, https://en.wikipedia.org/wiki/Random_projection . Çok iyi ölçeklenir ve her örnek bağımsız olarak ve PCA, SVD, Sammon Maps, NMF vb. Gibi doğrudan optimizasyon yöntemleri olmadan daha düşük boyutlu bir alana yansıtılabilir.