Bilgi teorisi OLMADAN Kullback-Leibler ıraksama

Cross Validated'in trollenmesinden sonra hala, KL bilgi ayrıntısını bilgi teorisi dünyasının dışında anlamaya daha yakın olduğumu hissetmiyorum. Bilgi teorisi açıklamasını daha kolay anlayabilmeniz için Matematik kökenli biri olarak oldukça garip.

Anlayışımı bir bilgi teorisi altyapısından özetlemek için: Sınırlı sayıda sonuç içeren rastgele bir değişkenimiz varsa, sonucu ortalama olarak en kısa mesajla başka biriyle paylaşmamızı sağlayan optimal bir kodlama vardır (bunu en kolay buluyorum) bit cinsinden resim). En iyi kodlama kullanılıyorsa , sonucun iletilmesi gereken mesajın beklenen uzunluğu verilir. Bir alt optimal kodlama kullanacak olsaydınız, KL farklılaşması bize ortalama olarak mesajımızın ne kadar uzun olacağını söyler.

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$

Bu açıklamayı sevdim, çünkü KL sapmasının asimetrisi ile sezgisel bir şekilde ilgileniyor. İki farklı sistemimiz varsa, yani farklı şekilde yüklenmiş iki yüklü paramız varsa, farklı optimal kodlamalara sahip olurlar. Her nasılsa içgüdüsel olarak ikinci sistemin ilk kodlamasını kullanmanın, ilk sistemin ikinci kodlamasını kullanmanın "eşit derecede kötü" olduğunu hissetmiyorum. Kendimi nasıl ikna ettiğimin düşünce sürecinden geçmeden, şimdi oldukça mutluyum. bu "ek beklenen mesaj uzunluğu", kullanıldığında verir 'la kodlama .q

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ $q$$p$

Bununla birlikte, Wikipedia da dahil olmak üzere çoğu KL ayrıntısı tanımları, (ayrık terimlerle ayrık olarak çok daha iyi çalışan bilgi teorisi yorumlamaları ile karşılaştırılabilir olması için karşılaştırılabilir olması için) ifadesini iki ayrık olasılığımız varsa dağıtımlar, daha sonra KL, "ne kadar farklı olduklarının" bir ölçüsünü sağlar. Bu iki kavramın nasıl birleştiğine dair tek bir açıklama görmedim. Çıkarım hakkındaki kitabında hatırlıyor gibiyim, Dave Mackay, veri sıkıştırma ve çıkarımın temelde aynı şey olduğuna dair puan veriyor ve sorumun bununla gerçekten ilgili olduğundan şüpheliyim.

Olup olmamaya bakılmaksızın, aklımdaki soru türü çıkarım sorunları ile ilgilidir. (Her şeyi ayrık tutmak), eğer iki radyoaktif örneğimiz varsa ve bunlardan birinin bilinen radyoaktiviteye sahip belirli bir malzeme olduğunu biliyoruz (bu şüpheli bir fizik ama evrenin böyle çalıştığını düşünelim) ve böylece "gerçek" dağılımını biliyoruz. ölçmemiz gereken radyoaktif tıklamaların bilinen ile poissonian olması gerekir , her iki örnek için ampirik bir dağılım oluşturmak ve KL sapmalarını bilinen dağılımla karşılaştırmak ve altının bu malzeme olma ihtimalinin daha yüksek olduğunu söylemek doğru olur mu?$\lambda$

Şüpheli fizikten uzaklaşmak, aynı numuneden iki numunenin alındığını biliyorum, fakat rastgele seçilmediklerini biliyorum, KL sapmalarını bilinen, global dağıtımla karşılaştırarak bana numunelerin "ne kadar önyargılı olduğunu" hissettiriyordum , zaten birine göre ve diğer?

Ve son olarak, önceki soruların cevabı evet ise, neden? Bu şeyleri, bilgi teorisine herhangi bir (muhtemelen tenuous) bağlantı kurmadan, istatistiksel açıdan tek başına anlamak mümkün müdür?

Kullback-Leibler'in ayrışmasına tamamen istatistiksel bir yaklaşım var: Örnek olarak bilinmeyen bir dağıtım X_n örnek alın ve potansiyel dağılımların bir ailesinin uygun olduğunu düşünün, Karşılık gelen olasılık ve logaritma Bu nedenle, hangi Kullback-Leibler’in vep ⋆ F = { p $X_1,\ldots,X_n$$p^\star$L ( θ | x 1 , … , x n ) = n ∏ i = 1 p θ ( x i ) ℓ ( θ | x 1 , … , x n ) = n ∑ i = 1 log p θ ( x i )

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ p θ p ⋆ H ( p θ | p ⋆ ) def = ∫ log { p ⋆ ( x ) / p θ ( x ) $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ diğer kısım , değerinin minimum [in ] sıfıra eşit olması.θ H ( p θ | p ⋆ $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

Farklılığı, bilgi teorisini ve istatistiksel çıkarımı bağlayan bir kitap, Rissanen'in burada incelediğim parametrelerin Optimal kestirimidir .

IJ Good'dan gevşek bir şekilde alınan Kullback-Leibler ayrıntısının istatistiksel bir yorumu : (Kanıt ağırlığı: Kısa bir anket , Bayesian Statistics 2, 1985).

Kanıtın ağırlığı.

$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

$x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ $W(x)$$x$$H_1$$H_2$

$x$$W(x)$$W(x) > 2$

Kullback-Leibler ayrıntısı

$f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

$x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

Bu iki kavramın nasıl birleştiğine dair tek bir açıklama görmedim.

Bilgi teorisi hakkında fazla bir şey bilmiyorum ama bu konuda düşündüğüm şey: bir bilgi teorisi kişisinin "mesajın uzunluğu" olduğunu söylediğimde beynim "sürpriz" diyor. Sürpriz 1.) rastgele ve 2.) özneldir.

$X$$q(X)$$- \log q(X)$

$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

“Ne kadar farklı olduklarını” düşünmek yerine, “yanlış dağılımı kullanmadan beklenen sürprizdeki artışı” düşünüyorum. Bunların hepsi logaritmanın özelliklerinden.

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

Düzenle

$−\log(q(x))$$q$

$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

Düzenleme 2: Görünüşe göre bunu "sürpriz" olarak düşünen tek kişi ben değilim. Gönderen burada :

$y$$\theta$$-2 \log\{ p(y \mid \theta)\}$