Bu cevap değişmeye devam ediyor. Mevcut sürüm, yorumlarda @cardinal ile yaptığım tartışma ile ilgili değildir (ancak bu tartışma sayesinde, şükran yaklaşımının hiçbir yere götürmediğini fark ettim).
Bu girişim için Hoeffding'in orijinal 1963 belgesinin başka bir bölümünü kullanacağım , yani bölüm 5 "Bağımlı Rastgele Değişkenlerin Toplamları".
Takım
Wi≡Yi∑ni=1Yi,∑i=1nYi≠0,∑i=1nWi=1,n≥2
Biz ayarlamak ise ise .Wi=0∑ni=1Yi=0
Sonra değişken var
Zn=∑i=1nWiXi,E(Zn)≡μn
Olasılıkla ilgileniyoruz
Pr(Zn≥μn+ϵ),ϵ<1−μn
Diğer birçok eşitsizliğe gelince, Hoeffding mantığına
ve bu
Pr(Zn≥μn+ϵ)=E[1{Zn−μn−ϵ≥0}]
1{Zn−μn−ϵ≥0}≤exp{h(Zn−μn−ϵ)},h>0
Bağımlı değişkenler durumunda, Hoeffding olarak olduğu gerçeğini kullanıyoruz ve (dışbükey) üstel fonksiyon için Jensen'in eşitsizliğini çağırıyoruz, yazmak için∑ni=1Wi=1
ehZn=exp{h(∑i=1nWiXi)}≤∑i=1nWiehXi
ve ulaşmak için sonuçları bağlama
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)E[∑i=1nWiehXi]
Bizim durumumuza odaklanmak, ve bağımsız olduğu için beklenen değerler ayrılabilir,WiXi
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)∑i=1nE(Wi)E(ehXi)
Bizim durumumuzda , parametresi ile Bernoullis'tir ve , , . YaniXiθE[ehXi]hE[ehXi]=1−θ+θeh
Pr(Zn≥μn+ϵ)≤e−h(μn+ϵ)(1−θ+θeh)∑i=1nE(Wi)
Açısından ÜSÖ aza indirme , biz olsunh
eh∗=(1−θ)(μn+ϵ)θ(1−μn−ϵ)
Eşitsizliğe bağlamak ve elde ettiğimiz manipülasyon
Pr(Zn≥μn+ϵ)≤(θμn+ϵ)μn+ϵ⋅(1−θ1−μn−ϵ)1−μn−ϵ∑i=1nE(Wi)
süre
Pr(Zn≥θ+ϵ)≤(θθ+ϵ)θ+ϵ⋅(1−θ1−θ−ϵ)1−θ−ϵ∑i=1nE(Wi)
Hoeffding şunu gösteriyor:
(θθ+ϵ)θ+ϵ⋅(1−θ1−θ−ϵ)1−θ−ϵ≤e−2ϵ2
OP'nin izniyle (teşekkürler, biraz ...)
∑i=1nE(Wi)=1−1/2n
Son olarak, "bağımlı değişkenler yaklaşımı" bize
Pr(Zn≥θ+ϵ)≤(1−12n)e−2ϵ2≡BD
Bunu "bağımsızlık" dönüşümüne dayanan Cardinal'in sınırı ile karşılaştıralım, . Bağlantımızın daha sıkı olması için ihtiyacımız varBI
BD=(1−12n)e−2ϵ2≤e−nϵ2/2=BI
⇒2n−12n≤exp{(4−n2)ϵ2}
Yani için . For , oldukça hızlı daha sıkı hale gelir ama çok küçük için bile bu küçük "pencere" hızla sıfıra indiği görülmektedir iken,. Örneğin, , , daha . Sonuçta, Cardinal'in sınırı daha faydalıdır. B D ≤ B I n ≥ 5 B I B D ϵ n = 12 ϵ ≥ 0.008 B In≤4BD≤BIn≥5BIBDϵn=12ϵ≥0.008BI
YORUM
Hoeffding'in orijinal makalesi ile ilgili yanıltıcı izlenimlerden kaçınmak için, Hoeffding'in bağımlı rastgele değişkenlerin deterministik bir dışbükey kombinasyonu örneğini incelediğinden bahsetmeliyim. Özellikle, değerleri rastgele değişkenler değil, , her bağımsız rastgele değişkenlerin toplamı iken, arasında bağımlılık olabilir . Daha sonra bu şekilde temsil edilebilecek çeşitli "U-istatistikleri" dikkate alır.X iWiXiXi