Fano eşitsizliğine bir sohbet mi?

10

Fano'nun eşitsizliği birçok biçimde ifade edilebilir ve özellikle kullanışlı olan biri Oded Regev'e (küçük bir değişiklikle) bağlıdır :

Let rasgele bir değişken olabilir ve izin burada rastgele bir süreçtir. verilen bir prosedür varlığının olasılığı ile yeniden yapılandırabileceğini varsayın . Sonra $X$ $Y = g(X)$ $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

Başka bir deyişle, yeniden kurabilirsem, sistemde birçok karşılıklı bilgi vardır.

Fano'nun eşitsizliğine bir "sohbet" var mı:

"Karşılıklı yeterli bilgiye sahip bir kanal verildiğinde, çıktıdan karşılıklı bilgiye bağlı hatalı girdiyi yeniden yapılandırmak için bir prosedür vardır"

Bu prosedürün de etkili olacağını beklemek çok fazla olurdu, ancak yeniden yapılanmanın olduğu ancak verimsiz olması gereken (doğal) örnekleri görmek de ilginç olacaktır.

it.information-theory randomized-algorithms

— Suresh Venkat
kaynak

12

$P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ karşılıklı bilgi cinsinden . $I(X:Y)$

Yazın . Yukarıda belirtilen eşitsizliği kullanarak, veya . $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

Prosedürün ve rastgele seçildiği yerde başarılı olma olasılığı göre en az olan . Bu nedenle prosedürün başarılı olma olasılığı en az . $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

Bu prosedür en uygunudur: herhangi bir rasgelelik prosedürü verildiğinde başarı olasılığı , bu da deterministik olarak en olası değerini çıkardığında noktasal olarak maksimize edilir . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
kaynak

1

Öyleyse, Fano'nun bu argümandan sonra gelen eşitsizliğinin tersi olan nicel bir ifade var mı?

— mobius hamur tatlısı

Kantitatif ile ne demek istiyorsun? Yukarıda verdiğim argüman, "Karşılıklı bilgi olan bir kanal göz önüne alındığında , en fazla hatalı bir yeniden yapılandırma prosedürü var " .

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

Güzel cevap ve kanıt. Bu nedenle, cevabınızdaki sınır çünkü tanım gereği. Bu, IEEE ISIT 1994'te, Baumer'in yaptığı bir konuşmada, bilgim dahilinde ortaya çıktı.

p_{e r r} \leq 1 - 2^{ben (X; Y) -'H (X)} = 1 - 2^{-'H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

Benzer bir şekilde, burada bir siparişindeki Renyi entropisiBurada, yani bağlı (2) (1) 'den daha sıkıdır.

p_{e r r} \leq 1 - \underset{y \in Y}{Σ} P_{Y} (y) 2^{- {'H}_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

{'H}_{α} (Z) = \frac{1}{1 - α} (\underset{z \in Z}{Σ} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
kaynak