İki Gauss'lu arasındaki KL ayrılığını belirlemeliyim. Sonuçlarımı bunlarla karşılaştırıyorum , ancak sonuçlarını çoğaltamıyorum. Sonucum açıkça yanlıştır, çünkü KL, KL için 0 değildir (p, p).
Nerede hata yaptığımı merak ediyorum ve kimsenin tespit edip edemediğini soruyorum.
Let p(x)=N(μ1,σ1) ve q(x)=N(μ2,σ2) . Piskopos'un PRML’sinden bunu biliyorum.
KL(p,q)=−∫p(x)logq(x)dx+∫p(x)logp(x)dx
entegrasyonun tüm gerçek hat boyunca yapıldığı ve
∫p(x)logp(x)dx=−12(1+log2πσ21),
bu yüzden kendimi ∫p(x)logq(x)dx ;
−∫p(x)log1(2πσ22)(1/2)e−(x−μ2)22σ22dx,
hangi ayrılabilir
12log(2πσ22)−∫p(x)loge−(x−μ2)22σ22dx.
Günlüğü alarak alıyorum
12log(2πσ22)−∫p(x)(−(x−μ2)22σ22)dx,
toplamları ayırdığımda ve integralden σ22 elde ettim .
12log(2πσ22)+∫p(x)x2dx−∫p(x)2xμ2dx+∫p(x)μ22dx2σ22
İcar ⟨⟩ altında beklenti operatörü olsun p , ben bu yeniden yazabilirsiniz
12log(2πσ22)+⟨x2⟩−2⟨x⟩μ2+μ222σ22.
Biz biliyoruz var(x)=⟨x2⟩−⟨x⟩2 . Böylece
⟨x2⟩=σ21+μ21
ve bu nedenle
12log(2πσ2)+σ21+μ21−2μ1μ2+μ222σ22,
hangi olarak koyabilirim
12log(2πσ22)+σ21+(μ1−μ2)22σ22.
Her şeyi bir araya getirmek, ben almak
KL(p,q)=−∫p(x)logq(x)dx+∫p(x)logp(x)dx=12log(2πσ22)+σ21+(μ1−μ2)22σ22−12(1+log2πσ21)=logσ2σ1+σ21+(μ1−μ2)22σ22.
1
Birisi benim hatamı görebiliyor mu?
Güncelleme
Eşyaları temizlediğin için teşekkürler. Doğru cevap:
KL(p,q)=logσ2σ1+σ21+(μ1−μ2)22σ22−12