Olasılık dağılımı tekdüze olduğunda Entropi neden maksimize ediliyor?

32

Entropinin bir işlem / değişkenin rastgelelik ölçüsü olduğunu biliyorum ve şöyle tanımlanabilir. kümesindeki rastgele bir değişkeni için : - . MacKay'ın Entropi ve Enformasyon Teorisi kitabında, Ch2'deki bu açıklamayı sağlar. $X \in$ $A$ $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$

P tekdüze ise entropi maksimize edilir.

Sezgisel olarak, kümesindeki tüm veri noktalarının eşit olasılık ( , kümesinin ana değeridir) ile seçildiyse , o zaman rastlantısallık ya da entropi artar gibi. Ancak, kümesindeki bazı noktaların diğerlerinden daha fazla olasılıkla ortaya çıkacağını bilirsek (normal dağılım durumunda, maksimum veri noktası konsantrasyonunun etrafındaki ortalama ve küçük standart sapma alanı olduğu, yani rasgele olduğu durumlarda) veya entropi azalmalı. $A$ $1/m$ $m$ $A$ $A$

Fakat bunun için matematiksel bir kanıt var mı? denklemi gibi onu göre farklılaştırırım ve 0 ya da benzeri bir şeye ayarladım. $H(X)$ $p(x)$

Bir yandan, bilgi teorisini meydana getiren entropi ile kimyadaki entropi hesaplamaları arasında herhangi bir bağlantı var mı (termodinamik)?

uniform entropy maximum-entropy

— user76170
kaynak

2

Bu soru (geçerken) stats.stackexchange.com/a/49174/919 adresinde cevaplandırılmıştır .

— whuber

Christopher Bishops kitabında, “tek bir gerçek değişken için entropiyi en üst düzeye çıkaran dağılımın Gaussyalı olduğunu” belirten bir başka ifadeyle oldukça kafam karıştı. Aynı zamanda, "verilen kovaryans için, maksimal entropi ile çok değişkenli dağılımın bir Gauss olduğunu" da belirtir. Bu ifade nasıl geçerlidir? Tekdüze dağılımın entropisi her zaman maksimum mu?

— user76170

6

Büyütme her zaman olası çözüm üzerindeki kısıtlamalara tabi olarak gerçekleştirilir. Kısıtlamalar tüm olasılıkların önceden tanımlanmış sınırların ötesine geçmesi gerektiği durumlarda, maksimum entropi çözümü aynıdır. Bunun yerine kısıtlamalar beklenti ve varyansın önceden tanımlanmış değerlere eşit olması gerektiği olduğunda, ME çözümü Gauss'tur. Alıntı yaptığınız ifadeler, bu sınırlamaların belirtildiği veya en azından dolaylı olarak anlaşıldığı belirli bağlamlarda yapılmış olmalıdır.

— whuber

2

Muhtemelen, "entropi" kelimesinin Gauss ayarında buradaki orijinal sorudan farklı bir şey ifade ettiğini de belirtmeliyim, çünkü o zaman sürekli dağılımların entropisini tartışıyoruz . Bu "diferansiyel entropi" , ayrık dağılımların entropisinden farklı bir hayvandır. Baş fark, diferansiyel entropinin, değişkenlerin değişmesi altında değişmez olmasıdır.

— whuber

Peki, bu maksimumlaştırmanın her zaman kısıtlamalarla ilgili olduğu anlamına gelir? Herhangi bir kısıtlama yoksa ne olur? Yani, böyle bir soru olamaz mı? Hangi olasılık dağılımının maksimum entropisi vardır?

— user76170

25

Sezgisel olarak, maksimum entropi ile olasılık yoğunluğu işlevi, en az bilgi miktarına karşılık gelen değerine karşılık gelir , başka bir deyişle Üniforma dağılımı. $\{x_1, x_2,..,.x_n\}$ $\{x_1, x_2,..,.x_n\}$

Şimdi, daha resmi bir kanıt için aşağıdakileri göz önünde bulundurun:

A olasılık yoğunluk fonksiyonu negatif olmayan reel sayılar kümesidir 1. Entropi kadar ekleyin sürekli bir fonksiyonudur -tuples ve bu noktalar küçük bir alt kümesinde yatıyor , bu yüzden entropinin en üst düzeye çıkarıldığı bir tuple var . Bunun ve başka hiçbir yerde olmadığını göstermek istiyoruz . $\{x_1, x_2,..,.x_n\}$ $p_1,...,p_n$ $n$ $(p_1,...,p_n)$ $\mathbb{R}^n$ $n$ $(1/n,...,1/n)$

Diyelim ki tamamen eşit değil, . (Açıkça ) Daha yüksek entropiye sahip yeni bir olasılık yoğunluğu bulacağız. Ardından, entropi bir tuple'da maksimize edildiğinden, bu entropi, tüm için ile tuple'da benzersiz bir şekilde maksimize edilir . $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

beri küçük pozitif için . Entropisi eksi ait entropi eşittir $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ $\{p_1,p_2,p_3,...,p_n\}$

- p_{1} günlük (\frac{p_{1} + ε}{p_{1}}) - ε günlük (p_{1} + ε) - p_{2} günlük (\frac{p_{2} - ε}{p_{2}}) + ε günlük (p_{2} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$ tamamlamak için, bunun yeterince küçük için olumlu olduğunu göstermek istiyoruz . Yukarıdaki denklemi

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2} \log (1 - \frac{ε}{p_{2}}) + ε (\log p_{2} + \log (1 - \frac{ε}{p_{2}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

Küçük için hatırlatarak yukarıdaki denklem , beri yeterince küçük olduğunda pozitif . $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε günlük p_{1} + ε + ε günlük p_{2} + O (ε^{2}) = ε günlük (p_{2} / p_{1}) + O (ε^{2})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

Daha az titiz bir kanıt aşağıdaki gibidir:

İlk önce aşağıdaki Lemmayı düşünün:

Let ve bir aralık ile sürekli olasılık yoğunluk fonksiyonları olabilir gerçek sayılar, ve ile . Her iki integral varsa . Ayrıca, eğer tüm için ise ve varsa eşitlik vardır . $p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{I} p \log p d x \leq - \int_{I} p \log q d x

$-\int_I p\log p dx\leq -\int_I p\log q dx$

p (x) = q (x)

$p(x) = q(x)$

x

$x$

Şimdi, , ile üzerinde olasılık yoğunluğu fonksiyonu olsun . İzin vermek tüm , ki entropisidir . Bu nedenle bizim Lemma, der , eğer sadece aynı ise ve eşitse. $p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$

- \sum_{i = 1}^{n} p_{i} \log q_{i} = \sum_{i = 1}^{n} p_{i} \log n = \log n

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$

p

$p$

Ayrıca, wikipedia'da bu konuda kısa bir tartışma var: wiki

— mitchus
kaynak

11

Temel (Matematiksiz) bir kanıt sunma çabasına hayranım. AM (GM = e dikkat ederek , ağırlıklı bir AM-GM eşitsizliği üzerinden sıkı bir tek satırlık gösteri , bütün eşitse, eşitlik tutma ile QED.

\exp (H)

$\exp(H)$

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$

1 / p_{i}

$1/p_i$

— whuber

Ben anlamıyorum eşit olabilir .

\sum \log n

$\sum{\log{n}}$

\log n

$\log{n}$

— user1603472

4

@ kullanici1603472, demek istediginiz ? Bunun nedeni

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

— HBeel

@Roland ' bağlı olmadığından toplamın dışına çıkardım . Sonra toplamı eşittir, çünkü , olasılık kütle fonksiyonunun yoğunluklarıdır.

\log n

$\log n$

i

$i$

1

$1$

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$

— HBeel

Daha fazla ayrıntıyla aynı açıklama burada bulunabilir: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

— Roland

14

Fizikte entropi ve bilgi teorisi ile ilgisi yoktur. Adından daha farklı oldukları söyleniyor, ancak aralarında açıkça bir bağlantı var. Entropi metriğinin amacı bilgi miktarını ölçmektir. Entropinin homojen dağılımdan kambur birine nasıl değiştiğini göstermek için buradaki grafiklerle olan cevabımı görün .

Entropinin homojen bir dağılım için en üst düzeye çıkarılmasının nedeni, böyle tasarlanmasıdır! Evet, bilgi eksikliği için bir önlem oluşturuyoruz, bu yüzden en düşük değeri en az bilgilendirici dağıtıma vermek istiyoruz.

Örnek. Sana sordum " Dostum, arabam nerede ?" Cevabınız "ABD'de Atlantik ve Pasifik Okyanusları arasında bir yerlerde". Bu tek tip dağılımın bir örneğidir. Arabam ABD'de herhangi bir yerde olabilir. Bu cevaptan fazla bilgi alamadım.

Ancak, “arabanızı bir saat önce Washington DC'den Route 66'da görmüştüm” demiştiyseniz - bu artık tek tip bir dağıtım değil. Otomobilin Los Angeles yakınlarındaki herhangi bir yerden DC'ye 60 mil uzaklıkta olması daha muhtemeldir. Burada açıkça daha fazla bilgi var.

Bu nedenle, önlemimiz ilk cevap için yüksek bir entropiye sahip olmalı ve ikinci cevap için bir daha düşük olmalıdır. Üniforma en az bilgilendirici dağıtım olmalı, temelde "Hiçbir fikrim yok" cevabı.

— Aksakal
kaynak

7

Matematiksel argüman içbükey fonksiyonlar için Jensen eşitsizliğine dayanmaktadır. Yani, eğer ve üzerindeki içbükey bir fonksiyon ise noktaları daki , o zaman: $f(x)$ $[a,b]$ $y_1, \ldots y_n$ $[a,b]$ $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

Bunu içbükey işlevine uygulayın ve için Jensen eşitsizliği . Not, bunların toplamı olsun ne 1'dir, yani ayrı bir olasılık dağılımını tanımlamak olan , düzgün dağılım için eşitlik ile. $f(x) = -x \log(x)$ $y_i = p(x_i)$ $p(x_i)$ $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$

— Octavian Ganea
kaynak

1

Aslında Jensen'ın eşitsizlik kanıtını kavramsal olarak AM-GM'den daha derin bir kanıt olarak buluyorum.

— Casebash

4

Bir yandan, bilgi teorisini meydana getiren entropi ile kimyadaki entropi hesaplamaları arasında herhangi bir bağlantı var mı (termodinamik)?

Evet var! Sen işini görebilirsiniz Jaynes (örneğin çalışmaları takip ve diğerleri burada ve burada örneğin).

Fakat ana fikir, istatistik mekaniğinin (ve bilimdeki diğer alanların da) dünya hakkında yaptığımız çıkarımlar olarak görülebileceğidir .

Daha fazla okuma olarak, Ariel Caticha'nın bu konuyla ilgili kitabını tavsiye ederim .

— kaslusimoes
kaynak

1

Sezgisel bir açıklama:

Eğer rastgele değişkenin bir olayına daha fazla olasılık kütlesi koyarsak, bazılarını diğer olaylardan almak zorunda kalacağız. Biri daha az bilgi içeriğine ve daha fazla ağırlığa, diğerleri daha fazla bilgi içeriğine ve daha az ağırlığa sahip olacaktır. Bu nedenle, bilgi içeriği düşük olan içerik daha düşük olacağından beklenen bilgi içeriği olan entropi azalacaktır.

Aşırı bir durum olarak, bir olayın neredeyse bir olasılık elde edebileceğini düşünün, bu nedenle diğer olaylar neredeyse sıfır kombine bir olasılık olacak ve entropi çok düşük olacaktır.

— Roland
kaynak

0

Ana fikir: her kısmi türevini , hepsini sıfıra ayarlayın, doğrusal denklem sistemlerini çözün. $p_i$

Sonlu sayıda alın burada bir örnek için . Göstermek . $p_i$ $i=1,...,n$ $q = 1-\sum_{i=0}^{n-1} p_i$

\begin{aligned} 'H & = - Σ_{ben = 0}^{n - 1} p_{ben} günlük p_{ben} - (1 - q) günlük q \\ 'H * \ln 2 & = - Σ_{ben = 0}^{n - 1} p_{ben} \ln p_{ben} - (1 - q) \ln q \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial'H}{\partial p_{ben}} & = \ln \frac{q}{p_{ben}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$ Sonra her için , yani, .

q = p_{i}

$q = p_i$

i

$i$

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$

— Jan Fan
kaynak

Bunun "ana fikir" olduğunu belirttiğinize sevindim, çünkü bu sadece analizin bir parçası. Diğer kısmı - sezgisel olmayabilir ve aslında biraz daha zor olabilir - entropinin davranışını inceleyerek, bir veya daha fazlası sıfıra , bunun küresel bir minimum olduğunu doğrulamaktır .

p_{i}

$p_i$

— whuber