Karşılıklı bir bilgi matrisinin özvektörlerinin anlamı nedir?

Kovaryans matrisinin özvektörlerine bakarken, maksimum varyansın yönlerini alırız (ilk özvektör, verilerin en çok değiştiği yöndür, vb.); buna ana bileşen analizi (PCA) denir.

Karşılıklı bilgi matrisinin özvektörlerine / değerlerine bakmanın ne anlama geldiğini merak ediyordum, maksimum entropi yönüne işaret ederler miydi?

Doğrudan bir cevap olmasa da ( noktasal karşılıklı bilgi ile ilgili olduğu gibi ), word2vec ile PMI matrisinin tekil değer ayrışmasıyla ilgili makaleye bakın :

• O. Levy, Y. Goldberg, Örtük Matris Çarpanlarına Ayırma Olarak Sinirsel Sözcük Gömme

Skip-gram'ı Mikolov ve ark. Tarafından tanıtılan bir kelime gömme yöntemi olan negatif örnekleme (SGNS) ile analiz ediyoruz ve hücreleri, ilgili noktaların karşılıklı bilgi (PMI) olan bir kelime bağlam matrisini örtük olarak çarpanlarına ayırdığını gösteriyoruz. kelime ve bağlam çiftleri. Başka bir gömme yönteminin (NCE), benzer bir matrisi dolaylı olarak çarpanlarına ayırdığını görüyoruz; burada her hücre, bağlamı göz önüne alındığında bir kelimenin (kaydırılmış) log koşullu olasılığıdır. Kelimeleri temsil etmek için seyrek kaydırılmış Pozitif PMI kelime bağlam matrisi kullanmanın, iki kelime benzerlik görevi ve iki analoji görevinden birini geliştirdiğini gösteriyoruz. Yoğun düşük boyutlu vektörler tercih edildiğinde, SVD ile kesin çarpanlara ayırma, en azından SGNS'nin sözcük benzerliği görevleri için çözümleri kadar iyi çözümler elde edebilir. Analoji soruları üzerine SGNS SVD'den daha üstün. Bunun SGNS'nin çarpanlarına ayırma işleminin ağırlıklı doğasından kaynaklandığını düşünüyoruz.