Diferansiyel entropi her zaman sonsuzdan az mıdır?

Rastgele bir sürekli rasgele değişken için, örneğin , diferansiyel entropisi her zaman mü? (Eğer sorun yoksa .) Değilse, daha az olması için gerekli ve yeterli koşul nedir? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
kaynak

Herhangi bir örnek denediniz mi? Mesela

uzunluğunda eşit dağılım ?

L

$L$

— Piotr Migdal

Aslında, tekdüze bir dağılımın (herhangi bir sonlu aralıkta) diferansiyel entropisi her zaman sonludur, yani log (L), dolayısıyla sınırlıdır. Aslında, entropisi her zaman sınırlı olan 2 sınıf sürekli dağılım sınıfını tanımlayabilirim. Birincisi, tekdüze dağılımla sınırlıdır; ikincisi Gauss dağılımı ile sınırlıdır.

— syeh_106

Aslında, sonsuz 2. moment ile bir dağılım da kurabilirim ve hala sonlu entropi var. Örneğin, f (x) = 3 / (x ^ 2), x> 3'ü düşünün. Açıkça E [X ^ 2] sonsuzdur, ancak h (X) ~ = -3.1 nats. Ancak, bunun rasgele sürekli rasgele değişkenler için doğru olup olmadığını doğrulayamadım veya çürütmek için bir karşı örnek bulamadım. Birisi bunu gösterebilirse çok sevinirim.

— syeh_106

Yorumlarınız ve linkleriniz için teşekkür ederiz Piotr. Bu arada, ders materyallerimden birini de kontrol ettim ve sayıca sonsuz desteğe sahip ayrı bir rastgele değişkenin tam olarak aynı örneğini buldum. Bununla motive olan, sürekli bir analog oluşturmak zor değildir. İlk sorunun cevabı ortada. Aynı soruya sahip olabilecek diğer insanlar için aşağıda özetleyeceğim. BTW, yukarıdaki 2. yorumumda bir düzeltme yapmam gerekiyor, özellikle f (x) = 3 / (x ^ 2) için h (X) pozitif olmalı, yani 3.1 nats.

— syeh_106

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

$\infty$

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Diferansiyel entropisinin sonsuz olduğunu doğrulamak zor değildir. Yine de oldukça yavaş büyür (yaklaşık logaritmik olarak).

2 soru için, ben değil , basit bir gerekli ve yeterli durumun farkında. Ancak, kısmi bir cevap aşağıdaki gibidir. Kesintisiz bir RV'yi desteğine göre aşağıdaki 3 Türden birine göre sınıflandırın, ör.

$\infty$ $-\infty$

Sonra aşağıdakiler var -

$\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

Tip 2 veya 3 RV için yukarıdaki durumun sadece yeterli bir koşul olduğunu unutmayın . Örneğin, olan Tip 2 RV'yi düşünün

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
kaynak

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

SE politikalarıyla ilgili tavsiyeler için Piotr'a teşekkür ederim. (Evet, burada açıkça yeniyim.) Sınırlı entropiye yol açan sonlu anlar hakkında kanıtınızı paylaşır mısınız? Teşekkürler!

— syeh_106

@PiotrMigdal Son bir dokunuş ekledikten sonra bu sorunun cevabını mevcut durumunda bırakmayı planlıyorum. Piotr'un yukarıdaki yorumu ile motive olan, sonlu ortalamaların sonlu entropiye yol açıp açmadığını düşündüm. Bunu genel olarak sonuçlandıramadım. Ne buldum RV desteğinin yarı sınırlı olup olmadığını doğru olduğunu. Lütfen yukarıdaki düzeltilmiş cevaba bakın. Bir gün birinden daha iyi bir cevap bekliyorum.

— syeh_106

"Diferansiyel entropisinin sonsuz olduğunu doğrulamak zor değil." Bunu nasıl doğrulayacağınızı gösterebilir misiniz? Riemann integrali için doğru gibi görünüyor, ancak diferansiyel entropi Lebesgue ölçüsü ile ilgili. Karşılık gelen Lebesgue integralinin birleşmediğini doğrulamada sorun yaşıyorum.

— cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$