Rademacher rasgele değişkenlerin Ürünlerinin Toplamı

İzin Vermek $x_1 \ldots x_a,y_1 \ldots y_b$ değerleri alan bağımsız rasgele değişkenler olmak $+1$ veya $-1$her biri 0,5 olasılıkla. Toplamı düşünün$S = \sum_{i,j} x_i\times y_j$. Olasılığı üst sınırlandırmak istiyorum$P(|S| > t)$. Şu an sahip olduğum en iyi sınır$2e^{-\frac{ct}{\max(a,b)}}$burada evrensel bir sabittir. Bu, basit Chernoff sınırlarının uygulanmasıyla ve olasılığını daha düşük sınırlayarak elde edilir . Bu sınırdan önemli ölçüde daha iyi bir şey almayı umabilir miyim? Yeni başlayanlar için en azından . Muhtemelen en iyi olacak alt gaussian kuyrukları alabilirsem ama bunu bekleyebilir miyiz (sanmıyorum ama bir argüman düşünemiyorum)?$c$$Pr(|x_1 + \dots + x_n|<\sqrt{t})$$Pr(|y_1 + \dots + y_n|<\sqrt{t})$$e^{-c\frac{t}{\sqrt{ab}}}$

Cebirsel ilişki

$$S = \sum_{i,j} x_i y_j = \sum_i x_i \sum_j y_j$$

, iki bağımsız toplamın ürünü olarak gösterir . Çünkü ve olarak bağımsız Bernoulli dağılımı özellikleri, bir binom olan üzerine değişken iki katına çıktı ve değişti. Bu nedenle onun ortalamasıdır ve varyans olan . Benzer şekilde ortalaması ve varyansı vardır . Şimdi bunları tanımlayarak standardize edelim$S$$(x_i+1)/2$$(y_j+1)/2$$(1/2)$$X=\sum_{i=1}^a x_i$$(a, 1/2)$$0$$a$$Y=\sum_{j=1}^b y_j$$0$$b$

$$X_a = \frac{1}{\sqrt a} \sum_{i=1}^a x_i,$$

nereden

$$S = \sqrt{ab} X_a X_b = \sqrt{ab}Z_{ab}.$$

Yüksek bir doğruluk (ve ölçülebilir) bir dereceye kadar, olarak büyür büyük standart normal dağılıma yaklaşır. Bize nedenle yaklaşık Let olarak iki standart normaller kere ürünü.$a$$X_a$$S$$\sqrt{ab}$

Bir sonraki adım,

$$Z_{ab} = X_aX_b = \frac{1}{2}\left(\left(\frac{X_a+X_b}{\sqrt 2}\right)^2 - \left(\frac{X_a-X_b}{\sqrt 2}\right)^2 \right) = \frac{1}{2}\left(U^2 - V^2\right).$$

"Bağımsız değişkenler", ve bağımsız standartlarının karelerinin farkının bir katıdır . nin dağılımı analitik olarak hesaplanabilir ( karakteristik fonksiyon ters çevrilerek ): pdf sıfırı, olan Bessel fonksiyonu ile orantılıdır . Bu fonksiyonun üstel kuyrukları olduğu için, büyük ve ve sabit , için soruda belirtilenden daha iyi bir yaklaşım olmadığı sonucuna varıyoruz .$U$$V$$Z_{ab}$$K_0(|z|)/\pi$$a$$b$$t$${\Pr}_{a,b}(S \gt t)$

ve biri (en azından) büyük olmadığında veya kuyruğundaki yakın noktalarda iyileşme için biraz yer kalır . doğrudan hesaplanması, den çok daha büyük noktalarda , kabaca ötesinde kuyruk olasılıklarından eğik bir incelme göstermektedir . Ait CDF'nin Bu log-lineer araziler çeşitli değerleri için (başlıklarında verilen) ve (aynı değerler üzerinde kabaca değişen , her bir parsel renk ile ayırt,) neler olduğunu göstermektedir. Referans olarak, sınırlayıcı grafiği$a$$b$$S$$\pm a b$$S$$\sqrt{ab}$$\sqrt{ab\max(a,b)}$$S$$a$$b$$a$$K_0$dağıtım siyah renkte gösterilmiştir. (Dolayı simetrik civarındadır , , negatif kuyruk bakmak yeterlidir, böylece.)$S$$0$$\Pr(S \gt t) = \Pr(-S \lt -t)$

De büyüdükçe, CDF referans hattına yakın büyür.$b$

Bu eğriliği karakterize etmek ve ölçmek, Binom değişkenlerine Normal yaklaşımın daha iyi bir analizini gerektirecektir.

Bessel işlevi yaklaşımının kalitesi, bu büyütülmüş kısımlarda (her çizimin sağ üst köşesinde) daha net hale gelir. Zaten kuyruklara oldukça uzaktayız. Logaritmik dikey ölçek önemli farklılıklar gizleyebilirsiniz rağmen, açıkça zaman ulaşmıştır yaklaştırma iyi gelir .$a$$500$$|S| \lt a\sqrt{b}$

---

Dağılımını Hesaplamak İçin R Kodu$S$

Aşağıdakilerin yürütülmesi birkaç saniye sürecektir. (Bu 36 kombinasyonları için birkaç milyon olasılıklarını hesaplar ve .) Yavaş makinelerde, daha büyük bir ya da iki değerlerine ihmal ve ve daha düşük çizim sınırını arttırmak etrafında .$a$$b$ab$10^{-300}$$10^{-160}$

s <- function(a, b) {
  # Returns the distribution of S as a vector indexed by its support.
  products <- factor(as.vector(outer(seq(-a, a, by=2), seq(-b, b, by=2))))
  probs <- as.vector(outer(dbinom(0:a, a, 1/2), dbinom(0:b, b, 1/2)))
  tapply(probs, products, sum)
}

par(mfrow=c(2,3))
b.vec <- c(51, 101, 149, 201, 299, 501)
cols <- terrain.colors(length(b.vec)+1)
for (a in c(50, 100, 150, 200, 300, 500)) {
  plot(c(-sqrt(a*max(b.vec)),0), c(10^(-300), 1), type="n", log="y", 
       xlab="S/sqrt(ab)", ylab="CDF", main=paste(a))
  curve(besselK(abs(x), 0)/pi, lwd=2, add=TRUE)
  for (j in 1:length(b.vec)) {
    b <- b.vec[j]
    x <- s(a,b)
    n <- as.numeric(names(x))
    k <- n <= 0
    y <- cumsum(x[k])
    lines(n[k]/sqrt(a*b), y, col=cols[j], lwd=2)
  }
}

Yorum: Bu soruda ne tür RV'lerin dikkate alındığını daha iyi yansıtmak amacıyla başlığı düzenledim. Herkes yeniden düzenleme yapmaktan çekinmeyin.

Motivasyon: Sanırımnin dağılımını elde edebilirsek, bir üst sınır için. ( GÜNCELLEME : Biz olamaz Whuber adlı ve cevap görüşürüz).$|S_{ab}|$

Göstermek . Doğrulamak için kolaydır 'nin aynı dağılımına sahip S ve' 'in. Moment üreten fonksiyon$Z_k = X_iY_j,\;\; k=1,...,ab$$Z$$X$$Y$

$$M_Z(t) = E[e^{zt}]=\frac 12e^{-t}+\frac 12e^t = \cosh(t)$$

Ayrıca 'ler, çiftler halinde bağımsız ile başlamak: değişken (endeksler elbette herhangi biri olabilir), desteğe sahip olasılıkları karşılık gelen . Moment üreten işlevi$Z$$W = Z_1+Z_2$$\{-2,0,2\}$$\{1/4,1/2,1/4\}$

$$M_{W}(t) = E[e^{(z_1+z_2)t}] = \frac 14e^{-2t}+\frac 12 +\frac 14e^{2t}=\\ =\frac 14(e^{-2t}+1)+ \frac 14(e^{2t}+1) = \frac 14 2e^{-t}\cosh(t)+\frac 14 2e^{t}\cosh(t)\\ =\cosh(t)\cdot \cosh(t) = M_{Z_1}(t)M_{Z_2}(t)$$

Tam bağımsızlığın aşağıdaki gibi olduğundan şüphelenmeye çalışacağım (bilge olanlar için açık mı?): Bu kısım için . Sonra zincir kuralı $Z_{ij}=X_iY_j$

$$P[Z_{ab},...,Z_{11}] = P[Z_{ab}\mid Z_{a,b-1},...,Z_{11}]\cdot ...\cdot P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}]$$

İkili bağımsızlık ile . düşünün . ve bağımsız koşullu Elimizdeki böylece çift ​​bağımsızlık bakımından ikinci eşitlik. Ancak bu,$P[Z_{12}\mid Z_{11}] = P[Z_{12}]$
$P[Z_{13},Z_{12}\mid Z_{11}]$$Z_{13}$$Z_{12}$$Z_{11}$

$$P[Z_{13}\mid Z_{12},Z_{11}] = P[Z_{13}\mid Z_{11}] = P[Z_{13}]$$

$$P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}] = P[Z_{13},\,Z_{12},\,Z_{11}] = P[Z_{13}]\cdot P[Z_{12}]\cdot P[Z_{11}]$$

Vb (sanırım). ( GÜNCELLEME : Yanlış düşünüyorum . Bağımsızlık muhtemelen herhangi bir üçlü için geçerlidir, ancak bütün grup için değil. Bu yüzden, basit bir rastgele yürüyüşün dağılımının türetilmesi ve soruya doğru bir cevap değil - bkz. Wolfies ve Whuber'ın cevapları).

Tam bağımsızlık gerçekten geçerliyse, iid dichotomous toplamının dağılımını elde etme

$$S_{ab}=\sum_{k=1}^{ab}Z_k$$

basit bir rastgele yürüyüşe benziyor , ancak ikincisinin bir dizi olarak net bir şekilde yorumlanmasına rağmen.

Eğer destek bile tamsayılar olacaktır , sıfır dahil ederken eğer destek garip tamsayılar olacaktır , sıfır olmadan. $ab=even$$S$$[-ab,...,ab]$$ab=odd$$S$$[-ab,...,ab]$

davasını ele alıyoruz . Göstermek sayısı olduğu değerinin alınması sitesindeki . Daha sonra desteği şeklinde yazılabilir . Herhangi bir için, için benzersiz bir değer elde ederiz . Üstelik nedeniyle simetrik olasılıklar ve bağımsızlık (ya da sadece exchangeability?), Tüm olası eklem gerçekleşmelerine -değişkenleri equiprobable bulunmaktadır. Böylece sayarız ve olasılık kütle fonksiyonunun ,$ab=odd$
$m$$Z$$-1$$S$$S\in \{ab-2m;m\in \mathbb Z_+\cup\{0\};m\le ab\}$$m$$S$$Z$$\{Z_1=z_1,..., Z_{ab}=z_{ab}\}$$S$

$$P(S=ab-2m)={ab \choose m}\cdot \frac 1{2^{ab}}, \qquad 0\le m\le ab$$

İnşaat ile ve tek sayı ve desteğinin tipik unsuru tanımlayarak ,$s\equiv ab-2m$$S$

$$P(S=s)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab}}$$

Taşımakçünkü , dağılımı olasılık kütlesini sıfıra ayırmadan sıfır etrafında simetriktir ve bu nedenleyoğunluk grafiğini dikey eksen etrafında "katlayarak", esas olarak pozitif değerler için olasılıkları ikiye katlayarak elde edilir,$|S|$$ab=odd$$S$$|S|$

$$P(|S|=|s|)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab-1}}$$

Sonra dağıtım işlevi

$$P(|S|\le|s|)=\frac 1{2^{ab-1}}\sum_{1\le i\le s,\, i\,odd}{ab \choose \frac{ab-i}{2}}$$

Bu nedenle, herhangi bir gerçek , için gerekli olasılığı $t$$1\le t<ab$

$$P(|S|> t) = 1- P(|S|\le t) = 1-\frac 1{2^{ab-1}}\sum_{1\le i\le t,\, i\,odd}{ab \choose {\frac{ab-i}{2}}}$$

göstergesinin toplamın yalnızca desteğine dahil edilen değerlere kadar çalışacağını garanti ettiğini unutmayın. - örneğin, set halinde hala kadar çalışacaktır bir tamsayıdır üstüne, tek olduğu kısıtlı olduğundan,.$i=odd$$|S|$$t=10.5$$i$$9$

Bir cevap değil, Alecos'un yorum kutusuna sığmayacak kadar uzun olan ilginç cevabı hakkında bir yorum.

Let bağımsız Rademacher rastgele değişkenler ve let bağımsız Rademacher rastgele değişkenler. Alecos şunları kaydediyor:$(X_1, ..., X_a)$$(Y_1, ..., Y_b)$

$$S_{ab}=\sum_{k=1}^{ab}Z_k \qquad \text{where} \qquad Z_k = X_i Y_j$$

“… Basit bir rastgele yürüyüşe benziyor ”. Basit bir rastgele yürüyüş gibi olsaydı , dağılımı 0 civarında simetrik 'çan şeklindeki unimodal' olurdu.$S$

Basit bir rastgele yürüyüş olmadığını göstermek için , burada hızlı bir Monte Carlo karşılaştırması:

• üçgen noktalar: PMF Monte Carlo simülasyonu verilen ve$S$$a = 5$$b = 7$
• yuvarlak noktalar: adımla basit bir rastgele yürüyüşün Monte Carlo simülasyonu$n = 35$

Açıkçası, basit bir rastgele yürüyüş değildir; ayrıca S'nin çift ​​(veya tek) tamsayılara dağıtılmadığına dikkat edin .$S$

Monte Carlo

ve verildiğinde toplamının tek bir yinelemesini oluşturmak için kullanılan kod ( Mathematica'da ) :$S$$a$$b$

 SumAB[a_, b_] :=  Outer[Times, RandomChoice[{-1, 1}, a], RandomChoice[{-1, 1}, b]] 
                         // Flatten // Total 

Ardından, 500.000 bu yol, ve olduğunda aşağıdakilerle oluşturulabilir:$a = 5$$b = 7$

 data57 = Table[SumAB[5, 7], {500000}];

Bu ve kombinasyonu için destek alanı :$a$$b$

{-35, -25, -21, -15, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 15, 21, 25, 35}