İki tek değişkenli Gauss arasındaki KL ayrımı


79

İki Gauss'lu arasındaki KL ayrılığını belirlemeliyim. Sonuçlarımı bunlarla karşılaştırıyorum , ancak sonuçlarını çoğaltamıyorum. Sonucum açıkça yanlıştır, çünkü KL, KL için 0 değildir (p, p).

Nerede hata yaptığımı merak ediyorum ve kimsenin tespit edip edemediğini soruyorum.

Let p(x)=N(μ1,σ1) ve q(x)=N(μ2,σ2) . Piskopos'un PRML’sinden bunu biliyorum.

KL(p,q)=p(x)logq(x)dx+p(x)logp(x)dx

entegrasyonun tüm gerçek hat boyunca yapıldığı ve

p(x)logp(x)dx=12(1+log2πσ12),

bu yüzden kendimi p(x)logq(x)dx ;

p(x)log1(2πσ22)(1/2)e(xμ2)22σ22dx,

hangi ayrılabilir

12log(2πσ22)p(x)loge(xμ2)22σ22dx.

Günlüğü alarak alıyorum

12log(2πσ22)p(x)((xμ2)22σ22)dx,

toplamları ayırdığımda ve integralden σ22 elde ettim .

12log(2πσ22)+p(x)x2dxp(x)2xμ2dx+p(x)μ22dx2σ22

İcar altında beklenti operatörü olsun p , ben bu yeniden yazabilirsiniz

12log(2πσ22)+x22xμ2+μ222σ22.

Biz biliyoruz var(x)=x2x2 . Böylece

x2=σ12+μ12

ve bu nedenle

12log(2πσ2)+σ12+μ122μ1μ2+μ222σ22,

hangi olarak koyabilirim

12log(2πσ22)+σ12+(μ1μ2)22σ22.

Her şeyi bir araya getirmek, ben almak

KL(p,q)=p(x)logq(x)dx+p(x)logp(x)dx=12log(2πσ22)+σ12+(μ1μ2)22σ2212(1+log2πσ12)=logσ2σ1+σ12+(μ1μ2)22σ22.
1

Birisi benim hatamı görebiliyor mu?

Güncelleme

Eşyaları temizlediğin için teşekkürler. Doğru cevap:

KL(p,q)=logσ2σ1+σ12+(μ1μ2)22σ2212


xμ1

Çok değişkenli durum ne olacak?

Bir araştırma makalesinde kld'nin $ KL (p, q) = ½ * ((μ₁-μ₂) ² + σ₁² + σ₂²) * ((1 / σ₁²) + (1 / σ₂²)) - 2 olması gerektiğini gördüm.
Skyde 14

1
p(x)logp(x)dx=12(1+log2πσ12)
p(x)logp(x)dx=12(1+log2πσ12)

Yanıtlar:


59

Tamam, benim hatam. Hata son denklemde:

KL(p,q)=p(x)logq(x)dx+p(x)logp(x)dx=12log(2πσ22)+σ12+(μ1μ2)22σ2212(1+log2πσ12)=logσ2σ1+σ12+(μ1μ2)22σ2212

12μ1=μ2σ1=σ2


@mpiktas Gerçekten soruyu kastetmiştim - bayerj İyi yayınlanmış bir araştırmacı ve ben bir lisans öğrencisiyim. Hatta akıllı adamlar :) bazen internette soran geri düşmek olduğunu görmek güzel
N. MCA.

3
μ1σ1μ2σ2

N(u1,σ1)

31

pμ1σ12qμ2σ22qp

[log(p(x))log(q(x))]p(x)dx

=[12log(2π)log(σ1)12(xμ1σ1)2+12log(2π)+log(σ2)+12(xμ2σ2)2] ×12πσ1exp[12(xμ1σ1)2]dx

={log(σ2σ1)+12[(xμ2σ2)2(xμ1σ1)2]} ×12πσ1exp[12(xμ1σ1)2]dx

=E1{log(σ2σ1)+12[(xμ2σ2)2(xμ1σ1)2]}

=log(σ2σ1)+12σ22E1{(Xμ2)2}12σ12E1{(Xμ1)2}

=log(σ2σ1)+12σ22E1{(Xμ2)2}12

(Xμ2)2=(Xμ1+μ1μ2)2=(Xμ1)2+2(Xμ1)(μ1μ2)+(μ1μ2)2

=log(σ2σ1)+12σ22[E1{(Xμ1)2}+2(μ1μ2)E1{Xμ1}+(μ1μ2)2]12

=log(σ2σ1)+σ12+(μ1μ2)22σ2212

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.