Karşılıklı bilgi kazanma değeri 1'den büyük olabilir

Çok temel bir şüphem var. Bu çok az rahatsız ederse özür dilerim. Karşılıklı Bilgi değerinin 0'dan büyük, ancak 1'den küçük olması gerektiğini biliyorum. Herhangi bir üst değer tarafından sınırlanmış mı?

Teşekkürler Amit.

information-theory mutual-information

— Amit
kaynak

Evet, üst sınırı var, ama 1 değil.

Karşılıklı bilgi iki parti (istatistiksel) pay bir bilginin ısırdığında (bit) 1'dir. Ancak, rastgele büyük bir veri paylaşabilirler. Özellikle, 2 bit paylaşırlarsa, o zaman 2'dir.

Karşılıklı bilgi yukarıda tek taraflar için Shannon dağılım entropisi ile sınırlıdır , yani . $I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

— Piotr Migdal
kaynak

İki taraf ikili değişkenler ise, yani her birinin sadece iki olası sonucu vardır {0,1} , sonra ve olduğunda entropileri maksimuma çıkar. . Bu nedenle, iki ikili değişken için maksimum karşılıklı bilgi

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

— Akseli Palén