Bilinen ortalama mutlak sapma için maksimum entropi hangi dağılımdadır?

Hacker News'ta ortalama mutlak sapma gibi diğer metriklerin aksine standart sapmanın kullanımı hakkındaki tartışmayı okuyordum . Peki, eğer maksimum entropi ilkesini takip edecek olsaydık, sadece dağılımın ortalamasını ve ortalama mutlak sapmayı bilseydik ne tür bir dağıtım kullanırdık?

Yoksa medyanı ve medyandan ortalama mutlak sapmayı kullanmak daha mantıklı mı?

Merak ettiğim bilgilere sahip olduğu anlaşılan Grechuk, Molyboha ve Zabarankin'in Genel Sapma Önlemlerine sahip bir Maksimum Entropi İlkesi buldum , ancak deşifre etmem biraz zaman alıyor.

distributions maximum-entropy mad

— Dietrich Epp
kaynak

İlginç soru; Çapraz Doğrulanmış hoş geldiniz!

— Nick Stauner

Bu bilge beyler, Kotz, S., Kozubowski, TJ ve Podgorski, K. (2001). Laplace Dağılımı ve Genellemeler: İletişim, Ekonomi, Mühendislik ve Finans Uygulamalarına Yeniden Bakmak (No. 183). Springer.

bir egzersizle bize meydan okuyun:

resim açıklamasını buraya girin

Kanıt, Normal'in verilen ortalama ve varyans için maksimum entropi olduğu Bilgi-Teorik kanıtını izleyebilir. Spesifik olarak: yukarıdaki Laplace yoğunluğu olsun ve başka bir yoğunluk olsun, ancak aynı ortalamaya ve ortalama mutlak sapmaya sahip olsun. Bu şu eşitliğin geçerli olduğu anlamına gelir: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (x) | x - c_{1} | d x = c_{2} = \int f (x) | x - c_{1} | d x = E_{f} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ Şimdi iki yoğunluğun Kullback-Leibler Diverjansını düşünün :

0 \leq D_{K L} (g | | f) = \int g (x) \ln (\frac{g (x)}{f (x)}) d x = \int g (x) \ln g (x) d x - \int g (x) \ln f (x) d x [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

Birinci integral (diferansiyel) entropi negatif bunu ifade eder, . İkinci integral (açıkça Laplacian pdf yazmak) $g$ $-h(g)$

\int g (x) \ln [f (x)] d x = \int g (x) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | x - c_{1} |}] d x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (x) d x - \frac{1}{c_{2}} \int g (x) | x - c_{1} | d x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ İlk integral birlikle bütünleşir ve ayrıca eq. elde ediyoruz

[1]

$[1]$

\int g (x) \ln [f (x)] d x = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (x) | x - c_{1} | d x = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ Ama bu Laplacian'ın diferansiyel entropisinin negatifidir, belirtin .

- h (f)

$-h(f)$

Bu sonuçları eq. Elimizdeki bu yana rasgele idi, bu kanıtlamaktadır yukarıdaki Laplacian yoğunluğu, yukarıdaki reçetelerle tüm dağılımlar arasında maksimum entropidir. $[2]$

0 \leq D (g | | f) = - h (g) - (- h (f)) \Rightarrow h (g) \leq h (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Alecos Papadopoulos
kaynak

Böyle basit bir dağıtım ve güzel bir yazı da! Dağıtımın 0 hariç pürüzsüz olacağından şüphelendim.

— Dietrich Epp

Teşekkürler. Bazen aynı şey olur - Laplace dağılımı mutlak değeri içerdiğinden, en büyük şüpheliydi.

— Alecos Papadopoulos