Üstel üst sınır


12

Diyelim ki IID rasgele değişkenleri ve dağıtım . Biz bir örneğini gözlemlemek için gidiyoruz 'şu şekilde s: let bağımsız varsayalım, rastgele değişkenler hepsi ' ın ve 'ler bağımsızdır ve örneklem boyutunu tanımlayın . 'hangisinin ler gösterir numunede olan s', ve tanımlanan örnek başarıların kısmını okumak isteyen X1,,XnBer(θ)XiY1,,YnBer(1/2)XiYiN=i=1nYiYiXiε>0Pr

Z={1Ni=1nXiYiifN>0,0ifN=0.
İçin , biz bir üst gitmekte bulmak istiyorum o katlanarak ile bozunumlarındaki . Hoeffding eşitsizliği, değişkenler arasındaki bağımlılıklar nedeniyle hemen uygulanmaz.ϵ>0Pr(Zθ+ϵ)n

1
Let . (i) , bağımsız değil mi? (ii) mi? ... Sonuç olarak, 'bağımsız rastgele değişkenlerin toplamı' olmadığı açık değilZi=1NXiYiZiZjiZ=ZiZ
Glen_b -Restate Monica

Ah, iyi bir noktaya değindin. yerine düşünüyordum . Ama bunun yerine yazamaz ve let ? Yani, 1 veya 0 olmasına bakılmaksızın tüm vakaları toplayın. Pay aynıdır, ancak payda farklıdır. N Z i = 1nNZ= n i = 1 ZiYZi=1nXiYiZ=i=1nZiY
Glen_b

Bunun nedeni, daha az problem çıkar miktar örnek, başarılı sonuç fraksiyonunun daha verir , çünkü . N n(1/n)i=1nXiYi(1/N)i=1nXiYiNn
Zen

1
Evet, bu yüzden "hayır bu işe yaramaz" ile bitirdim. Bernstein'ın bazı eşitsizlikleri gibi bağımsız olmayan dava için geçerli eşitsizlikler vardır (dördüncü maddeye bakın) ve martingallara uygulanan bir takım eşitsizlikler var (bunun burada uygulanacağını bilmiyorum).
Glen_b-Monica

1
Bir göz atacağım ve ayrıca martingales sonuçlarıyla bir bağlantı bulmaya çalışacağım. Gitmekte (kolay so ) bunu bir çeşit kondisyonlama kullanarak ile bağlamanın cazip olduğunu . P r ( U θ / 2 + ϵ ) exp ( - 2 n ϵ 2 ) ZU=(1/n)i=1nXiYiPr(Uθ/2+ϵ)exp(2nϵ2)Z
Zen

Yanıtlar:


16

Hoeffding eşitsizliğine oldukça doğrudan bir bağlantı kurabiliriz .

Not sahip olduğumuz

{Z>θ+ϵ}={iXiYi>(θ+ϵ)iYi}={i(Xiθϵ)Yi>0}.

Takım , böylece iid, ve bir basit uygulaması ile Hoeffding eşitsizliği yana ( ve bu nedenle değerleri bir büyüklük aralığında alın).Z i E Z i = 0 P ( Z > θ + ϵ ) = P ( i Z i > n ϵ / 2 )e - n ϵ 2 / 2Zi=(Xiθϵ)Yi+ϵ/2ZiEZi=0Z i[ - θ - ϵ / 2 , 1 - θ - ϵ / 2 ]

P(Z>θ+ϵ)=P(iZi>nϵ/2)enϵ2/2,
Zi[θϵ/2,1θϵ/2]

Özellikle son yıllarda, çeşitli pratik uygulamalarla rastgele matris teorisi ile ilgili konularda zengin ve etkileyici bir ilgili literatür bulunmaktadır. Bu tür bir şeyle ilgileniyorsanız, kesinlikle tavsiye ederim:

R. Vershynin, Rastgele matrislerin asimptotik olmayan analizine giriş , Sıkıştırılmış Algılama, Teori ve Uygulamaları Bölüm 5. Editör: Y. Eldar ve G. Kutyniok. Cambridge University Press, 2012.

Bence sergi açık ve literatüre hızla alışmak için çok güzel bir yol sunuyor.


1
Yana içerir kendi tanımı, izlenimi buna sahip (bağlı değişiklik yok) içerir. ϵ / 2 Z i[ - θ - ϵ / 2 , 1 - θ - ϵ / 2 ]Ziϵ/2Zi[θϵ/2,1θϵ/2]
Alecos Papadopoulos

1
Sevgili @Zen: dikkatli bir muhasebe Not olduğunu durumunda size sıkı eşitsizliği değiştirmek sağlayacak tarafından nihai sınır değiştirmeden her yerde. > N=0>
kardinal

@Cardinal Değerli: aslında çünkü soru adlarını değiştirdik bir (biraz) eğimli tahmin olup için, . ZθE[Z]=E[I{N=0}Z]+E[I{N>0}Z]=(11/2n)θ
Zen

6

durumuyla ilgilenecek ayrıntılar . N=0

{Zθ+ϵ}=({Zθ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({0θ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({N=0})({Zθ+ϵ}{N>0})={i=1nXiYi(θ+ϵ)i=1nYi}{N>0}{i=1nXiYi(θ+ϵ)i=1nYi}={i=1n(Xiθϵ)Yi0}={i=1n((Xiθϵ)Yi+ϵ/2)nϵ/2}.

Alecos için.

E[i=1nWi]=E[I{i=1nYi=0}i=1nWi]+E[I{i=1nYi>0}i=1nWi]=E[I{i=1nYi>0}i=1nYii=1nYi]=E[I{i=1nYi>0}]=11/2n.

5

Bu cevap değişmeye devam ediyor. Mevcut sürüm, yorumlarda @cardinal ile yaptığım tartışma ile ilgili değildir (ancak bu tartışma sayesinde, şükran yaklaşımının hiçbir yere götürmediğini fark ettim).

Bu girişim için Hoeffding'in orijinal 1963 belgesinin başka bir bölümünü kullanacağım , yani bölüm 5 "Bağımlı Rastgele Değişkenlerin Toplamları".

Takım

WiYii=1nYi,i=1nYi0,i=1nWi=1,n2

Biz ayarlamak ise ise .Wi=0i=1nYi=0

Sonra değişken var

Zn=i=1nWiXi,E(Zn)μn

Olasılıkla ilgileniyoruz

Pr(Znμn+ϵ),ϵ<1μn

Diğer birçok eşitsizliğe gelince, Hoeffding mantığına ve bu

Pr(Znμn+ϵ)=E[1{Znμnϵ0}]

1{Znμnϵ0}exp{h(Znμnϵ)},h>0

Bağımlı değişkenler durumunda, Hoeffding olarak olduğu gerçeğini kullanıyoruz ve (dışbükey) üstel fonksiyon için Jensen'in eşitsizliğini çağırıyoruz, yazmak içini=1nWi=1

ehZn=exp{h(i=1nWiXi)}i=1nWiehXi

ve ulaşmak için sonuçları bağlama

Pr(Znμn+ϵ)eh(μn+ϵ)E[i=1nWiehXi]

Bizim durumumuza odaklanmak, ve bağımsız olduğu için beklenen değerler ayrılabilir,WiXi

Pr(Znμn+ϵ)eh(μn+ϵ)i=1nE(Wi)E(ehXi)

Bizim durumumuzda , parametresi ile Bernoullis'tir ve , , . YaniXiθE[ehXi]hE[ehXi]=1θ+θeh

Pr(Znμn+ϵ)eh(μn+ϵ)(1θ+θeh)i=1nE(Wi)

Açısından ÜSÖ aza indirme , biz olsunh

eh=(1θ)(μn+ϵ)θ(1μnϵ)

Eşitsizliğe bağlamak ve elde ettiğimiz manipülasyon

Pr(Znμn+ϵ)(θμn+ϵ)μn+ϵ(1θ1μnϵ)1μnϵi=1nE(Wi)

süre

Pr(Znθ+ϵ)(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵi=1nE(Wi)

Hoeffding şunu gösteriyor:

(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵe2ϵ2

OP'nin izniyle (teşekkürler, biraz ...)

i=1nE(Wi)=11/2n

Son olarak, "bağımlı değişkenler yaklaşımı" bize

Pr(Znθ+ϵ)(112n)e2ϵ2BD

Bunu "bağımsızlık" dönüşümüne dayanan Cardinal'in sınırı ile karşılaştıralım, . Bağlantımızın daha sıkı olması için ihtiyacımız varBI

BD=(112n)e2ϵ2enϵ2/2=BI

2n12nexp{(4n2)ϵ2}

Yani için . For , oldukça hızlı daha sıkı hale gelir ama çok küçük için bile bu küçük "pencere" hızla sıfıra indiği görülmektedir iken,. Örneğin, , , daha . Sonuçta, Cardinal'in sınırı daha faydalıdır. B DB I n 5 B I B D ϵ n = 12 ϵ 0.008 B In4BDBIn5BIBDϵn=12ϵ0.008BI

YORUM
Hoeffding'in orijinal makalesi ile ilgili yanıltıcı izlenimlerden kaçınmak için, Hoeffding'in bağımlı rastgele değişkenlerin deterministik bir dışbükey kombinasyonu örneğini incelediğinden bahsetmeliyim. Özellikle, değerleri rastgele değişkenler değil, , her bağımsız rastgele değişkenlerin toplamı iken, arasında bağımlılık olabilir . Daha sonra bu şekilde temsil edilebilecek çeşitli "U-istatistikleri" dikkate alır.X iWiXiXi


Alecos: (cevabımın sonundaki türevi inceleyin). Bağlantınız kardinalin yaptığı gibi ile katlanarak bozulmaz. n-E[W1]=(11/2n)/nn
Zen

@Zen Nitekim (aslında artırır sınırlı s rağmen, örneklem büyüklüğü ile), bu Kardinal en bağlı en Numune boyutları için daha faydalı olmasının nedeni en.
Alecos Papadopoulos
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.