Karşılıklı karşılıklı bilgi üzerinde verilen karşılıklı bilgilerin sınırlanması

Diyelim ki iki küme ve Y ve bu kümeler üzerinde ortak olasılık dağılımı p (x, y) . P (x) ve p (y) 'nin sırasıyla X ve Y üzerindeki marjinal dağılımları göstermesine izin verin .$X$$Y$$p(x,y)$$p(x)$$p(y)$$X$$Y$

$X$ ve Y arasındaki karşılıklı bilgi $Y$şu şekilde tanımlanır:

$$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$$

yani, noktasal karşılıklı bilginin ortalama değeri pmi $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$ .

Diyelim ki pmi'de üst ve alt sınırları biliyorum $(x,y)$ : yani tüm $x,y$ için aşağıdakilerin geçerli olduğunu biliyorum :

$$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$$

Hangi üst sınır I (X; Y) için ima eder $I(X; Y)$. Tabii ki $I(X; Y) \leq k$ , ancak mümkünse daha sıkı bir bağlantı istiyorum. Bu bana mantıklı geliyor çünkü p bir olasılık dağılımını tanımlar ve pmi $(x,y)$ her $x$ ve y değeri için maksimum değerini (hatta negatif olamaz ) alamaz $y$.

Katkım bir örnekten oluşuyor. Noktasal karşılıklı bilgi üzerinde sınırlar verildiğinde karşılıklı bilginin nasıl sınırlanabileceğine dair bazı sınırlamaları gösterir.

Al ve tüm . Herhangi biri için izin denklemine çözüm Sonra nokta kütle yer de mil ürün puan alanda \ {1, \ ldots, n \} ^ 2 olduğu şekilde m, her satır, her sütundaki bu noktaların. (Bu çeşitli yollarla yapılabilir. Örneğin, ilk satırdaki ilk m noktaları ile başlayın ve sonra m'yi kaydırarak kalan satırları doldurun.$X = Y = \{1,\ldots, n\}$$p(x) = 1/n$$x \in X$$m \in \{1,\ldots, n/2\}$$k > 0$

$$m e^{k} + (n - m) e^{-k} = n.$$ $e^k / n^2$$nm$$\{1,\ldots,n\}^2$$m$$m$$m$her satır için bir döngüsel sınır koşulu ile bir sağa işaret eder). Kalan n ^ 2 - nm noktalarına e ^ {- k} / n ^ 2 nokta kütlesini yerleştiriyoruz . Bu nokta kütlelerinin toplamı \ frac {nm} {n ^ 2} e ^ {k} + \ frac {n ^ 2 - nm} {n ^ 2} e ^ {- k} = \ frac {me ^ k + (nm) e ^ {- k}} {n} = 1, böylece bir olasılık ölçüsü veriyorlar. Tüm marjinal nokta olasılıkları \ frac {m} {n ^ 2} e ^ {k} + \ frac {m - n} {n ^ 2} e ^ {- k} = \ frac {1} {n}, böylece her iki marjinal dağılım da aynıdır.$e^{-k}/n^2$$n^2 - nm$ $$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$$ $$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$$

Yapım tüm ve (bazılarının ardından) hesaplamalar) ile karşılıklı bilgi davranıyor için gibi için .$\mathrm{pmi}(x,y) \in \{-k,k\},$$x,y \in \{1,\ldots,n\}$

$$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$$ $k^2 / 2$$k \to 0$$k$$k \to \infty$

Aradığınız şeyin bu olup olmadığından emin değilim, çünkü çoğunlukla cebirseldir ve p'nin bir olasılık dağılımı olmasının özelliklerini gerçekten kullanmıyor, ama burada deneyebileceğiniz bir şey var.

Pmi'deki sınırlar nedeniyle açıkça ve dolayısıyla . Biz yerini alabilir olarak elde etmek için$\frac{p(x,y)}{p(x)p(y)}\leq e^k$$p(x,y)\leq p(x)p(y)\cdot e^k$$p(x,y)$$I(X;Y)$$I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

Bunun yararlı olup olmadığından emin değilim.

DÜZENLEME: Daha fazla inceleme üzerine bu aslında k orijinal üst sınır daha az yararlı olduğuna inanıyorum. Bir başlangıç ​​noktasında ipucu vermesi ihtimaline karşı bunu silmeyeceğim.