Diferansiyel Entropi

Gauss diferansiyel entropisi . Bu standart sapma olan bağlıdır . $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Eğer rasgele değişkeni birim varyansa sahip olacak şekilde normalleştirirsek, diferansiyel entropi düşer. Bana göre bu durum sezgisel çünkü normalleştirme sabitinin Kolmogorov karmaşıklığı entropideki azalmaya kıyasla çok küçük olmalı. Bu rastgele değişken tarafından üretilen herhangi bir veri kümesini kurtarmak için normalleştirme sabitiyle bölen / katlayan bir kodlayıcı kod çözücü basitçe tasarlanabilir.

Muhtemelen benim anlayışım kapalı. Lütfen kusurumu gösterebilir misiniz?

information-theory entropy randomness

— Çağdaş Özgenç
kaynak

Başımın biraz üstünde olmasına rağmen buna bir göz atacağım, bu yüzden tuz serpin ile tedavi edin ...

Tam olarak yanlış değilsin. Düşünce deneyinizin düştüğü yerde, diferansiyel entropinin sınırlayıcı entropi örneği olmadığını düşünüyorum. Bu nedenle, Kolmogorov karmaşıklığı ile arasındaki paralelliklerin kaybolduğunu tahmin ediyorum.

Diyelim ki ayrık bir rastgele değişken . Shannon entropisini olası tüm değerleri , toplayarak aşağıdaki gibi hesaplayabiliriz $X$ $x_i$

'H (X) = - \underset{ben}{Σ} P (X = x_{ben}) günlük (P (X = x_{ben})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Şimdiye kadar sıkıcı. Şimdi sürekli rasgele bir değişkenin nicemlenmiş bir versiyonu olduğunu varsayalım - örneğin, gerçek sayılar kümesinden örnekler üreten yoğunluk fonksiyonuna sahibiz ve bunu bir histograma dönüştürürüz. Yoğunluk fonksiyonunun aslında doğrusal olacağı kadar ince bir histogramımız olacak. Bu durumda, böyle bir entropiye sahip olacağız, $X$ $p()$ buradahistogram kutularımızın genişliği veher birinin orta noktasıdır. Bu logaritmanın içinde bir ürünümüz var - bunu ayıralım ve toplamın dışına taşımak için 1'e toplama olasılık dağılımlarının özelliğini kullanalım, bize

'H (X) \approx - \underset{ben}{Σ} p (X = x_{ben}) δ x günlük (p (X = x_{ben}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

'H (X) \approx - günlük (δ x) - \underset{ben}{Σ} p (X = x_{ben}) δ x günlük (p (X = x_{ben})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

Sınırı alırsak, izin verir ve toplamı bir entegrasyona dönüştürürsek, yaklaşımımız tam olur ve aşağıdakileri elde ederiz, $\delta x \rightarrow dx$

'H (X) = - günlük (d x) - \int_{x} p (X = x) günlük (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

$\delta$

\int_{x} p (X = x) günlük (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— basmakalıp
kaynak

Teşekkürler. Bu çok ilginç. Teoride böyle bir hile olduğunu bilmiyordum.

— Çağdaş Özgenç

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Cagdas - Buna hile söylesem bilmiyorum. Sadece farklı bir şeyi ölçüyor. Ve kardinalin işaret ettiği gibi, bazı kullanımları vardır. Binom dağılımına uygulandığında kırılıp kırılmayacağına gelince, onu nasıl uygulayacağınıza bağlıdır :). Emin değilseniz yeni bir konu başlatmaya değer.

— Pat

Sahte rasgele sayı üreteçleri düşünüldüğünde entropinin Kolmogorov karmaşıklığından açıkça farklı olduğunu düşündüm.

— James Bowery