Entropi bize ne anlatıyor?

Entropi hakkında okuyorum ve sürekli durumda ne anlama geldiğini kavramsallaştırmakta zorlanıyorum. Viki sayfası aşağıdakileri belirtir:

Olayların olasılık dağılımı, her olayın bilgi miktarı ile birleştiğinde, beklenen değeri, bu dağılım tarafından üretilen ortalama bilgi miktarı ya da entropi olan rastgele bir değişken oluşturur.

Öyleyse, sürekli bir olasılık dağılımına ilişkin entropiyi hesaplarsam, bu bana gerçekten ne söylüyor? Bozuk paraları çevirme hakkında bir örnek veriyorlar, bu yüzden ayrık durumda, ancak sürekli durumda böyle bir örnekle açıklamanın sezgisel bir yolu varsa, bu harika olurdu!

Yardımcı olursa, sürekli rastgele değişkeni için entropi tanımı $X$şöyledir:

$$H(X)=-\int P(x)\log_b P(x)dx$$ buradaolasılık dağılım işlevidir.$P(x)$

---

Bunu daha somutlaştırmak ve denemek için, örneğini göz önünde bulundurun , sonra Wikipedia’ya göre entropi$X\sim \text{Gamma}(\alpha,\beta)$

$$\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align}$$

Ve böylece şimdi biz sürekli bir dağılım (Gamma dağılımı) için entropi hesapladık ve şimdi bunun ifadeyi değerlendirmek eğer öyleyse verilen ve ya o miktar aslında bana anlatıyor? α $H(X)$$\alpha$$\beta$

Entropi size sistemde ne kadar belirsizlik olduğunu söyler. Diyelim ki bir kedi aradığınızı ve ev ile komşular arasında 1 mil uzaklıktaki bir yer olduğunu biliyorsunuz. Çocuklarınız size, bir kedinin evinizden mesafesinde olma olasılığının en iyi şekilde f ( x ; 2 , 2 ) beta dağılımıyla tanımlandığını söylemektedir . Bir kedi 0 ile 1 arasında herhangi bir yerde olabilir, ama daha büyük olasılıkla ortada, yani olmak Yani x m bir x = 1 / 2 .$x$ $f(x;2,2)$$x_{max}=1/2$

Hadi beta dağılımını denkleminize takalım, sonra elde edersiniz .$H=-0.125$

Daha sonra, karınıza sorarsınız ve size kediniz hakkındaki bilgisini tanımlamak için en iyi dağılımın tek tip dağılım olduğunu söyler. Entropi denklemine bağlarsan olsun .$H=0$

Hem üniforma hem de beta dağılımları kedinin evinizden 0 ile 1 mil arasında bir yerde olmasına izin verir, ancak üniformada daha fazla belirsizlik vardır, çünkü karınızın kedinin nerede saklandığına dair hiçbir fikri yoktur, çocuklar bazı fikirlere sahipken , bunun daha fazla olduğunu düşünüyorlar. Ortada bir yerde olması muhtemel. Bu yüzden Beta'nın entropisi Üniformanınkinden daha düşük.

Başka dağılımları deneyebilirsiniz, belki komşunuz size kedinin evlerden birinin yakınında olmayı sevdiğini söyler, bu yüzden beta dağılımı . Onun H Eğer bir kedi aramaya nerede hakkında bazı fikir edinmek için, tekrar üniforma daha düşük olmalıdır. Komşunuzun bilgi entropisinin çocuklarınızdan daha yüksek veya düşük olduğunu tahmin edin. Bu konularda her gün çocuklara bahse girerim.$\alpha=\beta=1/2$$H$

GÜNCELLEŞTİRME:

Bu nasıl çalışıyor? Bunu düşünmenin bir yolu tek biçimli bir dağılımla başlamaktır. En belirsizliğin bu olduğu konusunda hemfikirseniz, rahatsız etmeyi düşünün. Sadelik için ayrık duruma bakalım. Bir noktadan alın ve aşağıdaki gibi başka bir yere ekleyin: p ′ i = p - Δ p p ′ j = p + Δ $\Delta p$

$$p_i'=p-\Delta p$$ $$p_j'=p+\Delta p$$

Şimdi, entropinin nasıl değiştiğini görelim: = p ln p - p ln [ p ( 1 - Δ p / p ) ]

$$H-H'=p_i\ln p_i-p_i\ln (p_i-\Delta p)+p_j\ln p_j-p_j\ln (p_j+\Delta p)$$ = - ln ( 1 - Δ p / p ) - ln ( 1 + Δ p / p ) > 0 Bu, düzgün dağılımdan kaynaklanan herhangi bir rahatsızlığın azaldığı anlamına gelir entropi (belirsizlik). Bunu sürekli olarak göstermek için, bu satır boyunca çeşitlilik hesaplamaları ya da başka bir şey kullanmak zorunda kalacağım, ancak prensip olarak aynı sonucu elde edersiniz. $$=p\ln p-p\ln [p(1-\Delta p/p)]+p\ln p-p\ln [p(1+\Delta p/p)]$$ $$=-\ln (1-\Delta p/p)-\ln (1+\Delta p/p)>0$$

$n$$n\to\infty$$n$$n=1$$n=13$

x = 0:0.01:1;
for k=1:5
    i = 1 + (k-1)*3;
    idx(k) = i;
    f = @(x)bates_pdf(x,i);
    funb=@(x)f(x).*log(f(x));
    fun = @(x)arrayfun(funb,x);
    h(k) = -integral(fun,0,1);
    subplot(1,5+1,k)

    plot(x,arrayfun(f,x))
    title(['Bates(x,' num2str(i) ')'])
    ylim([0 6])
end

subplot(1,5+1,5+1)
plot(idx,h)
title 'Entropy'

Bu soruya basit bir cevap eklemek istiyorum:

Bu miktar aslında bana ne söylüyor?

Kesin bir senaryoda bunu göstermek sezgiseldir. Her çevirme kafasında bir kafa görme olasılığının 0,99 olduğunu söyleyerek ağır bir şekilde bozuk para attığınızı varsayalım. Her gerçek yazı size çok az bilgi verir, çünkü bunun zaten baş olacağını zaten biliyorsunuz. Ancak daha adil bir paraya gelince, ne bekleyeceğinize dair herhangi bir düşünceye sahip olmanız zor olmuyor, o zaman her yazı size önyargılı paralardan daha fazla bilgi veriyor. Tek bir atış gözlemleyerek elde edilen bilgi miktarı ile eşittir$\log \frac{1}{p(x)}$.

Entropinin miktarının bize söylediği, her gerçek çevirme (ağırlıklı) ortalamanın aktarabileceği bilgilerdir:$E \log \frac{1}{p(x)} = \sum p(x) \log \frac{1}{p(x)}$. Madeni para ne kadar adil olursa, entropi de o kadar büyük olur ve tamamen adil bir madeni para azami bilgilendirici olacaktır.