Gürültülü bir dağılımın entropisi

Diyelim ki bir fonksiyonumuz var $f:\mathbb{Z}_2^n \to \mathbb{R}$ öyle ki

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ ve $f$ bir dağıtım, yani $\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$.

Shannon entropisi $f$ aşağıdaki gibi tanımlanır:

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

İzin Vermek $\epsilon$sabit olun. Diyelim ki bir$\epsilon$- gürültülü versiyonu $f(x)$yani bir fonksiyon elde ediyoruz $\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$ öyle ki $|\tilde{f}(x)- f(x) | < \epsilon$ herkes için $x\in \mathbb{Z}_2^n$. Gürültünün entropi üzerindeki etkisi nedir? Yani, bağlayabilir miyiz$H(\tilde{f})$ "makul" işleviyle $\epsilon$ ve $H(f)$, gibi:

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ ya da, $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ bazı sabitler için $c,d$.

Edit: Shannon entropi üzerinde gürültü etkisi için bir duygu almaya çalışırken, herhangi bir "makul" katkı bağlı $H(\tilde{f})$ çok ilginç olurdu.

Böyle bir sınır mümkün değildir. Şu durumu düşünün:$f$ bazı setler üzerinde eşit olan dağılımdır $S$ büyüklüğünde $2^{\delta \cdot n}$ve bırak $\tilde{f}$ olasılıkla dağılım $\delta$ düzgün dağılmış bir eleman üretir $S$ve başka şekilde eşit dağıtılmış bir dize çıkarır.

Sen-ebilmek almak görmek zor değil $f$ için $\tilde{f}$ sadece en fazla gürültüye ihtiyacın var $(1-\delta) \cdot 2^{-\delta \cdot n}$. Ancak,$H(f)= \delta \cdot n$ süre $H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$. Böylece,$(1 - \delta)^2 \cdot n$ keyfi olarak küçük $\delta$ son derece düşük bir gürültü için.

Özellikle, $\delta = \frac{\log(1/\varepsilon)}{n}$ve gürültü elde edin $\varepsilon$ ve entropi farkı $\approx n - 2\log(1/\varepsilon)$.