Ters Chernoff bağlı

Kuyruk olasılığının en azından bu kadar olmasını sınırlayan ters bir Chernoff sınırı var mı?

yani eğer bağımsız binom rasgele değişkenleri ve . Daha sonra ispat bir fonksiyonu .$X_1,X_2,\ldots,X_n$$\mu=\mathbb{E}[\sum_{i=1}^n X_i]$$Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$$f$

Burada, standart bir Chernoff sınırının, belli bir parametre aralığı için üs içindeki sabit etkenlere kadar sıkı olduğuna dair kesin bir kanıt bulunmaktadır. (Özellikle, değişkenler 0 veya 1 olduğunda ve olasılıkları 1/2 veya daha az olan 1 ve $\epsilon\in(0,1/2)$ olduğunda ve Chernoff üst sınırı bir sabitten daha az olduğunda.)

Bir hata bulursanız, lütfen bana bildirin.

Lemma 1. (Chernoff'un sıkılığı) X'in k bağımsız, 0/1 rasgele değişkenlerin (rv) ortalaması olsun . Herhangi bir \ epsilon \ in (0,1 / 2] ve p \ in (0,1 / 2] , \ epsilon ^ 2 pk \ ge 3 varsayımı için ,$X$$k$$\epsilon\in(0,1/2]$$p\in(0,1/2]$$\epsilon^2 p k \ge 3$

(i) Her rv olasılıkla en fazla p ise 1 ise $p$,

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) Her rv olasılık en az p ise 1 ise $p$,

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

Kanıt. Aşağıdaki gözlemi kullanıyoruz:

İddia 1. Eğer , daha sonra ($1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

İstem 1'in kanıtı. Stirling'in yaklaşık olarak, buradaA,∈[1/(12i+1),1/12i]$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

Böylece, , ki bu , en az QED k$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$≥

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Lemma Kanıtı 1 Bölüm (i). Genelliği kaybetmeden toplamı her 0/1 rastgele değişken kabul olasılık ile 1 tam . Not , toplamına eşittir ve .p Pr [ X ≤ ( 1 - ϵ ) p ] ∑ ⌊ ( 1 - ϵ ) p k ⌋ i = 0 Pr [ X = i / k ] Pr [ X = i / k ] = ($X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

Düzeltme . Toplamdaki terimler artıyor, yani dizinindeki terimlerin her birinin değeri en az , bu nedenle toplamlarının en az toplam değeri vardır . İspatı tamamlamak için şunu gösteririz i ≥ ℓ Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ( ϵ p k - 2 ) Pr [ X = ℓ / k ] ≥ exp ( - 9 $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

Varsayımlar ve , verir , bu nedenle yukarıdaki sol taraf en azından . İstem 1 'i kullanarak, e bağlı olmak , en azından burada ve ε ≤ 1 / 2 ε p k ≥ 6 $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$($\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$A = $A\, B$ B= ($A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

Bitirmek için ve .B ≥ exp ( - 8 ε 2 p k $A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

2. İstem $A \ge \exp({-\epsilon^2 pk})$

7. İstem 2'nin Kanıtı. Varsayımlar ve (i) .ε ≤ 1 / 2 s k ≥ $\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

Tanım olarak, . (İ) ile, . Böylece, (ii) .p k ≥ 12 $\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

(İi) sağ tarafı ikame içinde (iii) verir .A A ≥ $\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

varsayımı, (iii) ile (iv) veren anlamına gelir. .ϵ $\epsilon^2 pk \ge 3$ A≥$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

Kaynaktan bu (v) aşağıdaki .exp ( - ε 2 p k ) ≤ exp ( - 3 ) ≤ $\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) ve (v) birlikte talepte bulunurlar. QED

İstem 3. .$B\ge \exp({-8\epsilon^2 pk})$

İstem 3. kanıtı Fix bu şekilde . seçimi anlamına gelir , bu nedenle iddia . Bu eşitsizliğin her iki tarafını da gücüne alıp sadeleştirerek, yerine koyma ve basitleştirme, ℓ = ( 1 - δ ) p k ℓ δ ≤ 2 ε B ≥ exp ( - 2 δ 2 p k ) - 1 / ℓ $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$ℓ=(1-δ)pk(1-δ)(1+δ

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ln(1+z)≤z- $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ Her iki tarafın logaritmasını alarak ve iki kez kullanarak , Yukarıdaki sol tarafta ya , çünkü dan azdır, çünkü . QED$\ln(1+z)\le z$δ2 $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ 2 δ 2 / ( 1 - δ ) p ≤ 1 /$\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

İstem 2 ve 3, . Bu, lemin parçasını (i) ifade eder.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Lemma Kanıtı 1 Kısım (ii). Genellik kaybı olmadan, her rastgele değişkenin olasılıkla tam olarak olduğu olduğunu kabul edin .$1$$p$

Not . Düzeltme .ℓ = ⌈ ( 1 + 2 ε ) p k ⌉ - $\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

En son toplamı en az , en azından . (Bunun kanıtı, yerine yerine ve yerine yerine , hariç, (i) ile aynıdır. .) QED( ε p K - 2 ) Pr [ X = ℓ / k ] exp $\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$ℓ ℓ ö - ö ℓ = ( 1 $\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

Berry-Esseen teoremi da daha yüksek olduğu sürece, kuyruk olasılığı alt sınır verebilir .$n^{-1/2}$

Kullanabileceğiniz bir diğer araç Paley-Zygmund eşitsizliği . Bu, herhangi bir tamsayı ve herhangi bir gerçek değerli rastgele değişkeni için ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

Birlikte multinomial teoremi ile, için bir toplamı rademacher rastgele değişkenlerin Paley-Zygmund size oldukça güçlü alt sınır alabilirsiniz. Ayrıca sınırlı bağımsızlık rasgele değişkenleri ile çalışır. Örneğin, 4-bilge bağımsız rasgele değişkenlerinin toplamının, sabit olasılıkla olduğunu kolayca alırsınız .n n ± 1 Ω ( $X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Eğer gerçekten Bernoulli denemelerinin sınırlayıcı toplamlarına uyuyorsanız (ve sınırlı rastgele değişkenleri söylemezseniz), aşağıdakiler oldukça sıkıdır.

Slud Eşitsizliği *. Let istatistiksel bağımsız bir Bernoulli rv çizer olmak ve izin tamsayıdır verilebilir. (A) ve veya (b) , burada standart bir normalin cdf'sidir. E ( X 1 ) = p $\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$p ≤ 1 / 4 , n p ≤ k , n s ≤ k ≤ N ( 1 - p ) Pr [ Σ i X i ≥ k ] ≥ 1 - Φ ( k - n $k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

(Argümanı standart normalin dönüştürülmesi olarak olarak kabul etmek, bu CLT'nin size söylediklerini tam olarak kabul eder; aslında, teorem koşullarını sağlayan Binomların üst kuyruklarda karşılık gelen Gauss'larına hükmedeceğini söyler.)$\Phi$

Buradan, daha güzel bir şey elde etmek için üzerindeki sınırları kullanabilirsiniz . Örneğin, Feller'in ilk kitabında, Gaussian'lar bölümünde, her için burada standart bir normalin yoğunluğudur. "Q-function" için Wikipedia makalesinde de benzer sınırlar var.$\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

Bunun dışında ve diğer insanların söylediklerini de, belki de bazı Stirling'lerle doğrudan Binomial'ı kullanmayı deneyebilirsiniz.

(*) Slud'un eşitsizliğinin yeni ifadeleri bu koşullardan bazılarını dışlar; Slud'un kağıdındaki yazıyı çoğalttım.

De Moivre-Laplace Teoremi,uygun şekilde normalleştirildikten ve belirli koşullar altında olduktan sonra, dağılımda normal dağılıma dönüşecektir. Eğer sürekli daha düşük sınırlar istiyorsanız bu yeterli.$|T\cap S_1|$

gibi daha düşük sınırlar için biraz daha ince bir araca ihtiyacınız vardır. İşte bildiğim bir referans (ancak sadece kazayla - böyle bir eşitsizliği kendim kullanma fırsatı bulamadım). Binom dağılımları kuyruk olasılıkları Bazı açık alt sınır Teorem 1.5 olarak verilmiştir kitap Rastgele grafikleri daha da referanslar verilmektedir Béla Bollobás, Cambridge, 2. baskı, tarafından olasılık ve onun uygulamalarına bir giriş Feller tarafından ve Olasılık Vakıflar Renyi tarafından.$n^{-c}$

Genelleştirilmiş Littlewood-Offord Teoremi tam olarak istediğiniz şey değildir, ancak rastgele değişkenlerin toplamının belirli bir değerin etrafındaki küçük bir aralığa düşme ihtimalinin düşük olduğunu göstererek, "ters Chernoff" olarak düşündüğümü verir. beklenti). Belki de faydalı olacaktır.

Resmen, teorem aşağıdaki gibidir.

Genelleştirilmiş Littlewood-Offord Teoremi : ve gibi gerçek sayılar olsun için ve izin değerleri sıfır ve bir sahiptir bağımsız rastgele değişkenler. İçin , varsayalım tüm . Sonra, herhangi bir , sadece bağlı bir sabittir .$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

Standart Chernoff'ta belirtilen, Wikipedia'da belirtildiği gibi bağlı olan 0/1 değerli rastgele değişkenler için sıkıdır. Let ve izin bağımsız rastgele değişken bir dizisi, örneğin bu her , ve . Sonra her , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

Burada, , yani Bernoulli rasgele arasındaki Kullback-Leibler sapması ve parametreli değişkenler .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

Belirtildiği gibi, yukarıdaki eşitsizlikteki üst sınır, "Chernoff-Hoeffding Teoremi, katkı formu" adı altında Wikipedia'da ( https://en.wikipedia.org/wiki/Chernoff_bound ) ispatlanmıştır . Alt sınır örneğin "tip metotlar" kullanılarak kanıtlanabilir. [1] deki Lemma II.2'ye bakınız. Ayrıca, bu klasik ders kitabında Cover ve Thomas tarafından bilgi teorisi üzerine yazılmıştır.

[1] Imre Csiszár: Türler Yöntemi. IEEE Bilişim Teorisi İşlemleri (1998). http://dx.doi.org/10.1109/18.720546