Varyasyonel Çıkarım, KL sapması gerçek gerektirir

Varyasyonel çıkarım (çok mütevazı) anlayışım için , aşağıdakileri optimize eden bir dağıtım bularak bilinmeyen bir dağıtım yaklaşmaya çalışır :$p$$q$

$$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$$

Ne zaman varyasyonsal çıkarımları anlamak için zaman harcadığım zaman bu formüle çarpmaya devam ediyorum ve yardım edemiyorum ama noktayı kaçırmış gibi hissediyorum. yı hesaplamak için bilmem gerekiyor gibi görünüyor . Ama bütün mesele bu dağılımı bilmiyordum .$p$$KL(p||q)$$p$

Değişken bir şeyi her okumaya çalıştığımda beni rahatsız eden tam da bu nokta. Neyi kaçırıyorum?

DÜZENLE :

@Wij cevabının bir sonucu olarak buraya birkaç ilave yorum ekleyeceğim, daha kesin olmaya çalışacağım.

İlgilendiğim durumlarda, aşağıdakilerin geçerli olduğunu düşünmek gerçekten de makul görünüyor;

$$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$$

Bu durumda orantılı olarak neye benzemesi gerektiğini biliyordum çünkü ve için bir model seçimi yapmış olacağım . O zaman tahmin edebileceğim bir aile dağıtımı [gaussian diyelim] seçmem gerektiğini söylerken doğru olur muyum . Bu durumda normalleşmemiş yakın bir gaussian uydurmaya çalışıyorum gibi geliyor . Bu doğru mu?$p$$p(D|\theta)$$p(\theta)$$q$$KL(p(\theta|D) || q)$$p(D|\theta)p(\theta)$

Eğer öyleyse, posteriorumun normal bir dağılım olduğunu varsayıyorum ve sadece dağılımı ile ilgili olarak bu dağılım için olası değerleri bulmaya çalışıyorum .$KL$

Sana tedavi bir his var tamamen bilinmeyen bir nesne olarak. Ben öyle düşünmüyorum. Muhtemelen kaçırdığınız şey budur.$p$

Diyelim ki (iid) ve için ve olduğunu varsaydığımız yi çıkarmak istiyoruz. içinde model tarafından belirtilir. Bayes kuralına göre, p ( x | Y ) p ( y | x ) p ( x ) x ∈ R,$Y = \{y_i\}_{i=1}^n$$p(x|Y)$$p(y|x)$$p(x)$$x\in\mathbb{R}^d$

$$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$$

İlk gözlem, posterior dağılımı hakkında bir şeyler bildiğimizdir . Yukarıdaki gibi verilir. Tipik olarak, normalleştiricisi bilmiyoruz . Olabilirlik Eğer çok karmaşık, o zaman bazı karmaşık dağıtım sahip sonunda .p ( Y ) p ( y | x ) p ( x | Y $p(x|Y)$$p(Y)$$p(y|x)$$p(x|Y)$

Varyasyonel çıkarım yapmayı mümkün kılan ikinci şey, alabileceği form üzerinde bir kısıtlama olmasıdır . Herhangi bir kısıtlama olmaksızın, genellikle inatçı olmayan olur . Tipik olarak, üstel ailenin seçilmiş bir alt kümesinde yaşadığı varsayılır. Örneğin, bu tam faktörlü Gauss dağılımlarının ailesi olabilir, yani . Bu sizin kısıt kümesi ise, o zaman her bileşeni çıkıyor verilir$q$$\arg \min_q KL(p||q)$$p$$q$$q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$$q$

$$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$$

buradaKesin formül pek önemli değil. Nokta yaklaşıktır gerçek bilgisine dayanarak bulunabilir ve yaklaşık o formdaki varsayımına almalıdır.$p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$$q$$p$$q$

Güncelleme

Aşağıda sorudaki güncellenmiş bölüm cevaplanmaktadır. hakkında düşündüğümü fark ettim . Her zaman gerçek miktar için , yaklaşık olarak da kullanacağım . Varyasyonel çıkarımda veya varyasyonel Bayes'te ,$KL(q||p(x|Y))$$p$$q$$q$

$$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$$

Yukarıda belirtilen kısıtlaması ile çözüm daha önce verilen sınırlamadır . Şimdi düşünüyorsan$\mathcal{Q}$

$$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$$

için üstel ailesinin bir alt kümesi olarak tanımlanmaktadır, bu çıkarım denir beklenti yayılımı (AP). Bu durumda çözümü , anlarının eşleştiği çözümdür .$\mathcal{Q}$$q$$p(x|Y)$

Her iki durumda da, esasen KL anlamda gerçek posterior dağılıma, bazı şekil almaya kısıtlanmış bir dağılım ile yaklaşmaya çalıştığınızı söylemekte haklısınız .$q$