Diferansiyel entropi nasıl yorumlanır?

Kısa bir süre önce , ayrı bir olasılık dağılımının entropisi hakkındaki bu makaleyi okudum . Entropiyi, kullandığınız kelimelerin olasılık dağılımı göz önüne alındığında, kodlamanız en uygun olduğunda bir mesajı kodlamak için gereken beklenen sayı bitleri (en azından entropi tanımınızda kullanıldığında) olarak düşünmenin güzel bir yolunu tanımlar. $\log_2$

Bununla birlikte, buradaki gibi sürekli duruma uzanırken, bu düşünme biçiminin bozulduğuna inanıyorum, çünkü herhangi bir sürekli olasılık dağılımı için (lütfen yanlışsa beni düzeltin), Kesintisiz vakada olduğu gibi, sürekli entropinin ne anlama geldiğini düşünmenin güzel bir yolu olup olmadığını merak etmek. $\sum_x p(x) = \infty$ $p(x)$

entropy information-theory

— dippynark
kaynak

Entropi ve diferansiyel entropi hakkındaki Wikipedia makalelerini okumaya çalıştınız mı?

— ttnphns

Sürekli bir dağıtımın olasılık kütle fonksiyonu yoktur. Sürekli durumdaki analog, bir olasılık yoğunluğunun ve tüm x aralığı üzerindeki integral 1'e eşittir

— Michael R. Chernick

@MichaelChernick Bir tane olduğunu söylemedim, ancak ayrık dava hakkında düşünme şekli, toplamın 1'e eşit olmasına dayanıyor.

— dippynark

@ttnphns hayır ben sığınak, ama şimdi onları kontrol edeceğim, teşekkürler.

— 17'de dippynark

Shannon entropisinin yorumlanması için bkz. Stats.stackexchange.com/questions/66186/… . Bazı fikirler aktarılabilir.

— kjetil b halvorsen

Entropininki kadar anlamlı veya yararlı olacak diferansiyel entropinin yorumu yoktur. Sürekli rasgele değişkenlerle ilgili problem, değerlerinin tipik olarak 0 olasılığa sahip olması ve bu nedenle kodlamak için sonsuz sayıda bit gerektirmesidir.

$[n\varepsilon, (n + 1)\varepsilon[$

- \int p (x) \log_{2} p (x) d x - \log_{2} ε

$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$

ve diferansiyel entropi değil. Bu miktar bir anlamda daha anlamlıdır, ancak daha küçük ve daha küçük aralıklar alırken sonsuzluğa yönelir. Mantıksal değerimizin değerinin hangi aralıklarla düştüğünü kodlamak için daha fazla bite ihtiyacımız olacağı için mantıklı.

Sürekli dağılımlara bakmak için daha yararlı bir miktar bağıl entropidir (ayrıca Kullback-Leibler sapması). Kesikli dağılımlar için:

D_{KL} [P | | Q] = \sum_{x} P (x) \log_{2} \frac{P (x)}{Q (x)} .

$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$

$P$ $-\log Q_2(x)$ $x$

D_{KL} [p ∣∣ q] = \int p (x) \log_{2} \frac{p (x)}{q (x)} d x,

$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$

$\log_2 \varepsilon$

$p(x)$ $\lambda(x) = 1$

- \int p (x) \log_{2} p (x) d x = - D_{KL} [p ∣∣ λ] .

$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$

Yorumu, kullanarak gereken bit sayısı arasındaki fark olacaktır. $-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ $n$ $-\log \varepsilon$ $\lambda$

Göreli entropiye harika bir giriş için Sergio Verdu'nun konuşmasına bakın .

— Lucas
kaynak