İstatistiklerde veya bilgi teorisinde miktarı için herhangi bir kullanım var mı ?

\int f (x)^{2} d x

$\int f(x)^2 dx$

probability entropy information-theory

— charles.y.zheng
kaynak

Renyi entropy

— kardinal

f

$f$ bir pdf, değil mi?

— whuber

Evet, bir yoğunluktur.

f

$f$

— charles.y.zheng

@cardinal Cevap!

@mbq: Tamam, biraz sonra cevaplamaya değer bir şey yazmaya çalışacağım. :)

— kardinal

İzin vermek , miktar (Lebesgue veya sayım ölçü sırasıyla göre ya da) göstermektedirler bir olasılık yoğunluk fonksiyonu siparişinin Renyi entropisi olarak bilinir . Aynı özelliklerin çoğunu tutan Shannon entropisinin genelleştirilmesidir. Durum için , içinde yorumlamak olarak , ve standart Shannon entropi Bu tekabül . $f$ $\newcommand{\rd}{\mathrm{d}}$

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Renyi bunu makalesinde tanıttı

A. Renyi, Bilgi ve entropi ölçümleri hakkında , Proc. 4. Berkeley Symp. on Math., Stat. ve Prob. (1960), sayfa 547-561.

bu sadece okumaya değer, sadece fikirler için değil, örnek sergi tarzı için de.

Durumda için daha yaygın bir seçenek biridir ve bu özel durumda, genellikle Renyi entropi olarak adlandırılır (aynı zamanda) 'dir. Burada gördüğümüz için yoğunluğu ile dağıtılmış rastgele bir değişken . $\alpha = 2$ $\alpha$

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

Not bu bir dışbükey bir fonksiyonudur ve bu nedenle, Jensen eşitsizlikle elimizdeki burada sağ taraf Shannon entropisini belirtir. Bu nedenle Renyi entropisi, Shannon entropisi için bir alt sınır sağlar ve birçok durumda hesaplanması daha kolaydır. $- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$

Renyi entropisinin ortaya çıktığı bir başka doğal örnek, ayrı bir rastgele değişken ve bağımsız bir kopya düşünülür . Bazı senaryolarda biz olasılığını bilmek isteyen temel bir hesaplama ile olan, $X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

Burada , değer kümesindeki sayım ölçüsüne göre yoğunluğu belirtir . $f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

(Genel) Renyi entropisi de görünüşte termal dengedeki bir sistemin serbest enerjisiyle ilişkilidir, ancak ben şahsen buna bağlı değilim. Konuyla ilgili çok yakın tarihli bir makale

JC Baez, Renyi entropisi ve serbest enerji , arXiv [quant-ph] 1101.2098 (Şubat 2011).

— kardinal
kaynak

Gerçekten de Shannon entropisinin yerine Renyi entropisini kullanıyordum; sezgilerimin onayını görmek güzel. Aydınlatıcı yanıt için teşekkür ederim.

— charles.y.zheng

Shannon entropisinin özelliklerinin ve kullanışlılığının çoğu (hepsi değil!) Dışbükeyliğinden kaynaklanır. Temel bilgilerin oluşumuna baktığınızda bilgi teorisiyle sonuçlanırsa, az çok Jensen'in eşitsizliğine bağlıdırlar. Dolayısıyla, belli (belirsiz) bir anlamda, "bilgi" kavramına yol açan belirli doğrusal olmayanlık olarak hakkında (çok) özel olan çok fazla şey yoktur .

- \log x

$-\log x$

— kardinal

Anlıyorum. Özellikle, verilen marjinalleri tatmin eden maksimum entropi eklem dağılımının marjinallerin (bağımsızlıktan alacağınız ürün) ürünü olması gerekir

— charles.y.zheng