Gizli Dirichlet Tahsisi ile bir dağıtım kutusunun şaşkınlığı nasıl hesaplanır?

Gizli Dirichlet Tahsisi (LDA) yaparken bir sınırlama örneğinin şaşkınlığını nasıl hesaplayacağım konusunda kafam karıştı. Konuyla ilgili yazılar, bana belirgin bir şeyi kaçırdığımı düşündürüyor ...

Şaşkınlık, LDA için iyi bir performans ölçüsü olarak görülmektedir. Fikir, bir ayırma örneği tutmanız, LDA'nızı verilerin geri kalanında eğitmeniz ve ardından ayırmanın şaşkınlığını hesaplamanızdır.

Şaşkınlık şu formülle verilebilir:

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

( Büyük ölçekli görüntü veritabanlarında Görüntü erişiminden alınan Horster ve ark. .)

Burada doküman sayısı, (test numunesinde muhtemelen,) nin ağırlık d , dokümanlardaki kelime temsil d , N d belge sözcük sayısını $M$$\mathbb{w}_d$$d$$N_d$$d$ .

P ( w d ) ' nin mantıklı bir şekilde nasıl hesaplanacağı net değil$p(\mathbb{w}_d)$Bekletilen belgeler için konu karışımlarımız olmadığından, değil. İdeal olarak, tüm olası konu karışımları için Dirichlet'in üzerine entegre olur ve öğrendiğimiz multinomiyalleri kullanırız. Ancak bu integrali hesaplamak kolay bir iş gibi görünmüyor.

Alternatif olarak, dışarıda tutulan her belge için (öğrenilen konularımız verildiğinde) en uygun konu karışımını öğrenmeye çalışabilir ve bunu şaşkınlığı hesaplamak için kullanabiliriz. Bu yapılabilir, ancak Horter et al ve Blei et al gibi kağıtların önerdiği kadar önemsiz değildir ve sonucun yukarıdaki ideal duruma eşdeğer olacağı hemen açık değildir.

Bu gerçekten de sık sık göz ardı edilen bir şey.

Bazı insanlar biraz arsız bir şey yapıyorlar: her belgedeki kelimelerin bir kısmını tutmak ve belge-konu karışımlarının yanı sıra konu-kelime karışımları göz önüne alındığında, bu tutulan kelimelerin tahmini olasılıklarını kullanarak vermek. Bekletilen belgelerdeki performansı değerlendirmediği için bu kesinlikle ideal değildir.

Bekletilen belgelerle doğru şekilde yapmak için, önerildiği gibi, "olası tüm konu karışımları için Dirichlet'in üzerine entegre olmanız" gerekir. http://people.cs.umass.edu/~wallach/talks/evaluation.pdf Bu biraz hoş olmayan integralle başa çıkmak için birkaç yöntemi gözden geçiriyor. Aslında bunu kendim denemek ve uygulamak üzereyim, çok iyi şanslar!

LDA parametrelerinin Varyasyonel Çıkarım yoluyla tahmin edildiğini biliyoruz. Yani

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$

$D(q(\theta,z)||p(\theta,z)) = 0$$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$

$\log p(w|\alpha, \beta)$