Maksimum Entropi Dağılımının istatistiksel yorumu

Çeşitli ortamlarda birkaç dağıtımın kullanımını doğrulamak için maksimum entropi ilkesini kullandım; Bununla birlikte, henüz bilgi teorik olarak, maksimum entropinin yorumlanmasının aksine bir istatistik formüle edebildim. Başka bir deyişle, entropiyi en üst düzeye çıkarmak, dağılımın istatistiksel özellikleri hakkında ne anlama geliyor?

Kimsenin karşısına geçip veya belki de maks. Bilgiye hitap etmeyen, sadece olasılık kavramlarına hitap eden entropi dağılımları?

Böyle bir yorumlamaya örnek olarak (zorunlu olarak doğru değil): "RV alanı üzerinde isteğe bağlı bir uzunluk L aralığında (basitliği için 1-b sürekli olduğu varsayılırsa), bu aralıkta bulunabilecek maksimum olasılık en aza indirilir. maksimum entropi dağılımı. "

Öyleyse, “bilişimcilik” ya da diğer daha felsefi fikirler hakkında konuşma olmadığını, sadece olasılıksal sonuçların olduğunu görüyorsunuz.

Bu gerçekten benim alanım değil, yani bazı musings:

Sürpriz kavramı ile başlayacağım . Şaşırmanın anlamı nedir? Genellikle, olması beklenmeyen bir şey olduğu anlamına gelir. Öyleyse, onu olasılıklı bir kavram olarak şaşırtın ve bunun gibi açıklanabilir (IJ Good bu konuda yazmıştır). Ayrıca bakınız Wikipedia ve Bayesian Sürprizi .

Belirli bir evet / hayır durumu örneğini alın, bir şey olabilir ya da olmayabilir. Olasılık $p$ . P = 0.9 ve gerçekleşirse, gerçekten şaşırmadığınızı söyleyin. Eğer $p=0.05$ ve anı, sen biraz şaşırırlar. Ve eğer $p=0.0000001$ ve olursa, gerçekten şaşırırsınız. Bu nedenle, "gözlenen sonuçtaki sürpriz değer" in doğal bir ölçüsü, olanın olasılığının bazı (anti) monoton işlevidir. Olanların olasılığının logaritmasını almak doğal görünüyor (ve iyi çalışıyor ...) ve sonra pozitif bir sayı elde etmek için eksi işaretini atıyoruz. Ayrıca, logaritmayı alarak, sürprizin sırasına odaklanıyoruz ve pratikte, olasılıklar genellikle sadece sırayla, az çok sırayla bilinir .

Böylece,

$$\text{Surprise}(A) = -\log p(A)$$ 'nın $A$ gözlenen sonuç olduğu, $p(A)$ olasılık olduğunu belirledik .

Şimdi beklenen sürprizin ne olduğunu sorabiliriz . Let $X$ ihtimali olan bir Bernoulli rastgele değişken $p$ . İki olası sonucu 0 ve 1'dir. İlgili sürpriz değerleri

$$\begin{align} \text{Surprise}(0) &= -\log(1-p) \\ \text{Surprise}(1) &= -\log p \end{align}$$ böylece$X$gözlemlerken sürpriz, beklenti ile rasgele bir değişkendir $$p \cdot -\log p + (1-p) \cdot -\log(1-p)$$ ve bu --- sürpriz! ---$X$entropisi! Yani entropininsürprizolmasıbekleniyor!

Şimdi, bu soru maksimum entropi ile ilgili . Neden birileri maksimum bir entropi dağılımı kullanmak istesin ki? Öyle olmalı, çünkü en fazla şaşırtmak istiyorlar! Neden kimse bunu istesin ki?

Buna bakmanın bir yolu şudur: Bir şey öğrenmek istersiniz ve bu amaç için bazı öğrenme deneyimleri (veya deneyleri ...) kurarsınız. Bu konuyla ilgili her şeyi zaten biliyorsan, her zaman mükemmel bir şekilde tahmin edebiliyorsun, bu yüzden hiç şaşırmadım. O zaman asla yeni bir deneyim edinemezsiniz, bu yüzden yeni bir şey öğrenmeyin (ama zaten her şeyi biliyorsunuz --- öğrenecek bir şey yok, o yüzden sorun değil). Kafanızın karıştığı daha tipik bir durumda, mükemmel bir şekilde tahmin edemiyorum, bir öğrenme fırsatı var! Bu, "olası öğrenme miktarını" beklenen sürpriz , yani entropi ile ölçebileceğimiz fikrine yol açar . Dolayısıyla, entropiyi en üst düzeye çıkarmak, öğrenme fırsatını en üst düzeye çıkarmaktan başka bir şey değildir. Bu, deneyler ve bu gibi şeyleri tasarlamada faydalı olabilecek faydalı bir konsepte benziyor.

Şiirsel bir örnek iyi bilinmektedir

Wenn einer eine reise macht, dann kann er erzählen oldu ...

Pratik bir örnek: Çevrimiçi testler için bir sistem tasarlamak istiyorsunuz (çevrimiçi, herkes aynı soruları almaz, önceki cevaplara bağlı olarak sorular dinamik olarak seçilir, bu nedenle her kişi için bir şekilde optimize edilmiştir).

Çok zor sorular yaparsanız, asla uzmanlaşmazlarsa, hiçbir şey öğrenemezsiniz. Bu, zorluk seviyesini düşürmeniz gerektiğini gösterir. Optimal zorluk seviyesi nedir, yani öğrenme oranını maksimize eden zorluk seviyesi? Doğru cevap olasılığının $p$ olmasını sağlayın . Bernoulli entropisini maksimize eden $p$ değerini istiyoruz . Ancak bu $p=0.5$ . Bu nedenle (bu kişiden) doğru bir cevap alma olasılığının 0.5 olduğu soruları belirtmeyi amaçlıyorsunuz.

Sonra sürekli rastgele değişken $X$ . $X$ gözlemleyerek nasıl şaşırırız ? Belirli bir sonucun olasılığı $\{X=x\}$ sıfırdır, $-\log p$ tanımı işe yaramaz. Fakat $x$ gibi bir şeyi gözlemleme olasılığı küçükse, yani $f(x)$ yoğunluk işlevi değeri küçükse ( $f$ sürekli olduğunu varsayarsak ) şaşırırız . Bu Surprise ( x ) = - log f ( x ) tanımına götürür

$$\DeclareMathOperator{\E}{\mathbb{E}} \text{Surprise}(x) = -\log f(x)$$ Bu tanım sayesinde, gözlemleyerek beklenen sürpriz $X$ olan $$\E \{-\log f(X)\} = -\int f(x) \log f(x) \; dx$$ olduğu, gözlemleyerek beklenen sürpriz$X$ ayırıcı entropi olan$X$ . Beklenen mantıksallık olarak da görülebilir.

Ama bu gerçekten ilk olay, dava ile aynı değil. Bunu da gör, bir örnek. Rastgele değişken $X$ bir taş atma uzunluğunu temsil etmesine izin verin (spor müsabakasında). Bu uzunluğu ölçmek için bir uzunluk birimi seçmemiz gerekir, çünkü olasılık için olduğu gibi, uzunluk için gerçek bir ölçek yoktur. Metre cinsinden mm veya km cinsinden veya daha genel olarak ölçüm yapabiliriz. Fakat bizim sürpriz tanımımız, dolayısıyla beklenen sürpriz, seçilen birime bağlıdır, bu nedenle değişmezlik yoktur. Bu nedenle, diferansiyel entropinin değerleri, Shannon entropisinin olduğu gibi doğrudan karşılaştırılamaz. Biri bu sorunu hatırlarsa yine de faydalı olabilir.

Bilgi teorisi ve maksimum entropi konusunda uzman olmamasına rağmen, bir süredir ilgileniyorum.

Entropi, bir dizi kritere göre türetilmiş bir olasılık dağılımının belirsizliğinin bir ölçüsüdür. Bu ve ilgili önlemler olasılık dağılımlarını karakterize eder. Ve bu kriterleri karşılayan eşsiz bir ölçü. Bu, Jaynes (2003) 'te güzel bir şekilde açıklandığı gibi, herhangi bir mantıksal ifadenin belirsizliği ölçüsü için çok istenen bazı kriterleri karşılayan eşsiz bir ölçü olan olasılık durumuna benzemektedir.

Entropiden farklı bir olasılık dağılımının belirsizliğinin başka bir ölçüsü, entropiyi tanımlamak için kullanılan kriterlerden bir veya daha fazlasını ihlal etmek zorunda kalır (aksi halde mutlaka entropi olur). Eğer olasılık bakımından bazı genel beyanı olsaydı Yani, her nasılsa o zaman olur ... maksimum entropi aynı sonuçları vermiştir olmak maksimum entropi!

Bugüne kadar maksimum entropi dağılımları hakkında bir olasılık ifadesine bulabileceğim en yakın şey Jaynes'in konsantrasyon teoremidir . Kapur ve Kesavan'da (1992) açıkça açıklanmış olarak bulabilirsiniz. İşte gevşek bir yeniden ifade etme:

$p$$n$$p_i$$i=1,...,n$$m$$m+1$

$S$$m+1$$S_{\textrm{max}}$

$N$

$$2N(S_{\textrm{max}} - S) \sim \chi^2_{n-m-1}.$$

$$\left( S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}, S_{\textrm{max}} \right).$$ $S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}$

ET Jaynes (2003) Olasılık Teorisi: Bilim Mantığı. Cambridge Üniversitesi Basını.

JN Kapur ve .K. Kesavan (1992) Entropi Optimizasyon İlkeleri ve Uygulamaları. Akademik Basın, Inc

Muhtemelen tam olarak neyin peşinde olduğunuzu değil, Rissanen'de, J. İstatistiksel Sorgulamada Stokastik Karmaşıklık , World Scientific, 1989, s. 41 maksimum entropinin, normal dağılımın ve merkezi limit teoreminin ilginç bir bağlantısı var. Ortalama sıfır ve standart sapma ile tüm yoğunluklar arasında$\sigma$normal yoğunluk maksimum entropiye sahiptir.

“Dolayısıyla, bu yorumlamada, temel merkezi limit teoremi, ortalama sıfır ve ortak varyansa sahip bağımsız rasgele değişkenlerin toplamlarının sembol başına entropisinin, maksimuma eğiliminde olduğu gerçeğini ifade eder. Bu, oldukça makul görünmektedir; aslında, Eddington'un “Doğa yasaları arasında en üst düzey pozisyon” olarak gördüğü ikinci termodinamik yasası.

Bunun sonuçlarını henüz henüz keşfetmedim, ne de tam olarak anladığımdan emin değilim.

[değiştir: sabit yazım hatası]