LSA ve pLSA arasında bir parellel

PLSA'nın orijinal makalesinde yazar Thomas Hoffman, sizinle tartışmak istediğim pLSA ve LSA veri yapıları arasında bir paralellik çiziyor.

Arka fon:

İlham alarak bir Bilgi Edinme biz bir koleksiyon olduğunu varsayın belgelerin ve bir kelime açısından $N$

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$

M

$M$

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

Bir corpus , eş zamanlılık matrisi ile temsil edilebilir . $X$ $N \times M$

Gelen Latent Semantik maliyet analizi ile SVD matris üç matrislerde factorized olup burada ve olan tekil değerler arasında ve sıralamasıdır . $X$

X = U Σ V^{T}

$X = U \Sigma V^T$

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$

σ_{i}

$\sigma_i$

X

$X$

s

$s$

X

$X$

in LSA yaklaşımı , resimde gösterildiği gibi üç matrisi bir miktar seviyesine indirgeyerek hesaplanır : $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$

k < s

$k < s$

resim açıklamasını buraya girin

PLSA'da, sabit bir konu kümesi seçin (gizli değişkenler) tahmini şu şekilde hesaplanır: ; burada üç matris, modelin olasılığını en üst düzeye çıkaran matrislerdir. $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ $X$

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$

Gerçek soru:

Yazar bu ilişkilerin devam ettiğini belirtiyor:

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

ve LSA ve pLSA arasındaki önemli farkın, en uygun ayrışma / yaklaşımı belirlemek için kullanılan objektif bir fonksiyon olması.

Haklı olduğundan emin değilim, çünkü iki matrisin farklı kavramları temsil ettiğini düşünüyorum : LSA'da, bir terimin bir belgede göründüğü sürenin bir tahmini ve pLSA'da (tahmini ) bir terimin belgede görünme olasılığı. $\hat{X}$

Bu noktayı netleştirmeme yardım eder misin?

Ayrıca, yeni bir belge verilen bir korpus iki model hesaplanan herhalde , LSA I kullanımda bu gibi yaklaşıklık hesaplamak için: $d^*$

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

Bu her zaman geçerli mi?
Aynı prosedürü pLSA'ya uygulayarak neden anlamlı sonuç alamıyorum? $\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

Teşekkür ederim.

— Aslan986
kaynak

Basitlik için, burada LSA ve negatif olmayan matris çarpanlara ayırma (NMF) arasındaki bağlantıyı veriyorum ve daha sonra maliyet fonksiyonunda basit bir değişikliğin pLSA'ya nasıl yol açtığını gösteriyor. Daha önce belirtildiği gibi, LSA ve pLSA , satırların ve sütunların normalleşmesine kadar, belge terimi matrisinin düşük dereceli ayrışması anlamında çarpanlara ayırma yöntemleridir:

X = U Σ D

$X=U\Sigma D$

önceki gösterimleri kullanarak. Daha basit olarak, belge terimi matrisi iki matrisin bir ürünü olarak yazılabilir:

X = A B^{T}

$X = AB^T$

burada ve . LSA için, önceki formülle yazışma ve ayarlanarak elde edilir . $A\in\Re^{N\times s}$ $B\in\Re^{M\times s}$ $A=U \sqrt{\Sigma}$ $B=V\sqrt{\Sigma}$

LSA ve NMF arasındaki farkı anlamanın kolay bir yolu, geometrik yorumlarını kullanmaktır:

LSA şu çözümdür:
$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- aşağıdakilerin çözümüdür: $L_2$
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KL, pLSA'ya eşdeğerdir ve şu çözeltinin çözümüdür:
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

burada olan Kullback-Leibler matrisler ayrışma ve . Yukarıdaki tüm sorunların benzersiz bir çözümü olmadığını görmek kolaydır, çünkü pozitif bir sayıyla çarpıp bölebilir $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ $X$ $Y$ $A$ $B$ aynı objektif değeri elde etmek için aynı sayıda Bu nedenle, - LSA durumunda, insanlar genellikle özdeğerlerini azaltarak sıralı bir temel seçerler. Bu, SVD ayrışması ile verilir ve LSA çözümünü tanımlar, ancak işlemlerin çoğunda (kosinüs benzerliği, yukarıda belirtilen yumuşatma formülü vb.) Etkisi olmadığı için başka herhangi bir seçenek mümkün olacaktır. - NMF durumunda, dik bir ayrışma mümkün değildir, ancak sıraları genellikle bir ile , çünkü olarak doğrudan olasılıksal bir yorumu vardır . Ek olarak, sıraları normalleştirilirse (yani bire eşittir), o zaman sıralarının bir toplamı gerekir ve olasılıksal yoruma yol açar. $A$ $p(z_k|d_i)$ $X$ $B$ $p(f_j|z_k)$ . Yukarıdaki soruda verilen pLSA sürümü ile küçük bir fark vardır, çünkü sütunları toplamla , böylece değerler , ancak fark sadece parametrelendirme değişikliğidir. , sorun aynı kaldı. $A$ $A$ $p(d_i|z_k)$

Şimdi, ilk soruyu cevaplamak için, LSA ve pLSA (ve diğer NMF algoritmaları) arasındaki farkta ince bir şey var: olumsuzluk kısıtlamaları aa Tekil Değer nedeniyle geçerli olmayan bir "kümeleme etkisi" indükler Ayrışma çözeltisi rotasyonel olarak değişmezdir. Olumsuzluk kısıtlamaları bir şekilde bu dönme değişmezliğini bozar ve bir tür anlamsal anlama sahip faktörler verir (metin analizindeki konular). Bunu açıklayan ilk makale:

Donoho, David L. ve Victoria C. Stodden. "Negatif olmayan matris çarpanlarına ayırma ne zaman parçalara doğru ayrışma sağlar?" Sinirsel bilgi işleme sistemlerindeki gelişmeler 16: 2003 konferansı bildirileri. MIT Press, 2004. [bağlantı]

Aksi takdirde, PLSA ve NMF arasındaki ilişki burada açıklanmaktadır:

Ding, Chris, Tao Li ve Wei Peng. "Negatif olmayan matris çarpanlarına ayırma ve olasılıksal gizli anlamsal indeksleme arasındaki denklik üzerine." Hesaplamalı İstatistik ve Veri Analizi 52.8 (2008): 3913-3927. [link]

— Guillaume
kaynak