Hoeffding eşitsizliğinde kullanılan bir lemmanın kanıtını anlama

Larry Wasserman'ın Casella ve Berger'i birincil metin olarak kullanan İstatistik ders notlarını inceliyorum . 2 no'lu ders notları üzerinde çalışıyorum ve Hoeffding eşitsizliğinde kullanılan lemmanın türetilmesinde sıkıştım (s.2-3). Aşağıdaki notlarda ispatı yeniden veriyorum ve ispattan sonra nerede sıkıştığımı göstereceğim.

baş kelime

olduğunu olduğunu varsayalım . Sonra . $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

Kanıt

Bu yana , yazabiliriz konveks kombinasyonu gibi ve , yani burada . İşlev dışbükey ile Elimizdeki $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Her iki tarafın beklentilerini alın ve aslında kullanmak olsun $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

burada , ve . olduğuna dikkat edin . Ayrıca tüm için . $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ $g(0) = g^{'}(0) = 0$ $g^{''}(u) \le 1/4$ $u > 0$

Taylor teoremine göre, da bir vardır, $\varepsilon \in (0, u)$ böylece $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Bu nedenle $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ .

Kanıtı takip edene kadar

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ ama türlerini nasıl elde edeceğimi bilemiyorum . $u, g(u), \gamma$

probability probability-inequalities

— Anand
kaynak

İlginç bir maksimum değeri olan ve böylece sonuç etkili bir şekilde bu durum tesadüflerden kaynaklanamayacak kadar tanıdık geliyor. Olasılıklı bir argüman yoluyla sonucu elde etmenin başka, muhtemelen daha kolay bir yolu olabileceğinden şüpheleniyorum.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate

@DilipSarwate Anladığım kadarıyla, tekdüze bir rastgele değişken için maksimum varyans oluşuyor . Varyansı olan . Lütfen nasıl e sahip olduğunuzu açıklayabilir misiniz ?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand

Kitleyi uç noktalara yoğunlaştırarak ...

— Elvis

@DilipSarwate Kanıtta birkaç yorum ekledim, bu en kötü durumun neden en büyük varyans olduğu bir liitle bitini açıklığa kavuşturabilir.

— Elvis

@DilipSarwate - Burada lemma 1 ve egzersiz 1'e bakın: terrytao.wordpress.com/2010/01/03/… . Görünüşe göre Jensen eşitsizliğine ve taylor'ın genişlemesine dayanan daha basit bir türev var. Ancak bunun detayları bana açık değil. Belki birisi bunu anlayabilir. ((9) 'dan (10)' a türev ve alıştırma 1)

— Leo

Sorunuzu doğru anladığımdan emin değilim. Cevap vermeye çalışacağım: nın bir fonksiyonu olarak yazmaya çalışın : this içinde bir cilt istediğiniz gibi doğaldır .

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

Deneyimin yardımıyla, bunu biçiminde yazmanın daha iyi olduğunu bileceksiniz . Sonra yol açar ile . $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

Bu istediğin bir şey mi?

Düzenleme: ispat hakkında birkaç yorum

İlk hile dikkatle bakılmayı hak ediyor: dışbükey bir işlevse ve ortalanmış rasgele bir değişkense, burada tarafından tanımlanan ayrık değişkentir Sonuç olarak, şunu alır olduğunu en yüksek varyansı olan de desteklenen ortalanmış değişken : Bir destek genişliğini $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , Dilip'in yorumlarda söylediği gibi az , bunun nedeni ; bağlı elde edilir . $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
Şimdi sorunumuza dönün. Neden sadece bağlı olarak bir bağlanma elde etmek mümkün ? Sezgisel olarak, bu sadece yeniden ölçeklenmesi meselesidir : vakası için bağlanmışsa, genel sınır alınarak elde edilebilir . Şimdi genişlik 1 desteğiyle ortalanmış değişkenler setini düşünün: çok fazla özgürlük yok, bu yüzden gibi bir sınır mevcut olmalıdır. Başka bir yaklaşım, basitçe yukarıdaki üzerindeki lemma ile daha genel olarak , yalnızca ve $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : ve ve değişken , yalnızca bir serbestlik derecesi vardır, ve , , . Biz olsun Sadece içeren bir sınır bulmalısın . $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
Şimdi bunun yapılabileceğine ikna olduk, çok daha kolay olmalı! Başlamak için mutlaka düşünmek zorunda değilsiniz . Mesele şu ki, her şeyi ve bir fonksiyonu olarak yazmalısınız . İlk olarak , , ve . Ardından Şimdi özel durumdayız ... I bitirebileceğini düşünüyorum. $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

Umarım biraz açıklığa kavuştum.

— Elvis
kaynak

tam da aradığım şey buydu. Çok teşekkürler.

— Anand

@Anor, tavsiyelere uymanın zor olduğunu biliyorum, ancak teknik detaylara odaklanarak başlamamanız gerektiğini düşünüyorum, bunun yerine neden böyle bir sınırın var olabileceğini anlamaya çalışın ... o zaman kanıt daha kolay görünmelidir. Size ikinci bölümde nedenini göstermeye çalıştım , bu sabah ekledim (böyle bir soru üzerinde uyumanız gerekiyor - en azından ihtiyacım var). Sanırım bu tür sezgilerin çoğu ders kitabında görünmemesi çok kötü ... teknik bir parçası olsa bile, fikirlere sahip olmadığınız sürece her şey sihirli görünüyor. CrossV'e bana bunu ayrıntılı olarak düşünme fırsatı verdiğiniz için teşekkür ederim!

— Elvis

Vaov! Düzenleme için +1. Teşekkürler. Ama gibi bir şey elde etmek mümkün olsaydı hoş olmaz mıydı

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate

@Elvis Tavsiye ve sezgisel kısmı yazmak için zaman ayırdığınız için teşekkür ederiz. Bunu anlamak için biraz zaman ayırmam gerek!

— Anand

@Elvis Sezgiyi ele alarak anlayışımı açıklığa kavuşturmak istiyorum. Daha keskin sınırlar elde etmek için daha yüksek anlara ihtiyaç vardır. Markov ilk anı, Chebyshev ikinci anı kullanır ve Hoeffding mgf kullanır. Bu doğru mu? Birisi bu kısmı genişletebilir ve açıklığa kavuşturabilirse harika olur.

— Anand