İyimserlik önyargısı - tahmin hatası tahminleri

9

İstatistiksel Öğrenmenin Unsurları (PDF'de çevrimiçi olarak mevcuttur) kitabında iyimserlik yanlılığı tartışılmaktadır (7.21, sayfa 229). İyimserlik yanlılığının eğitim hatası ile örnek içi hata arasındaki fark olduğunu belirtir (orijinal eğitim noktalarının her birinde yeni sonuç değerlerini örneklediğimizde gözlenen hata) (aşağıda).

resim açıklamasını buraya girin

Sonra, bu iyimserlik yanlılığını belirtiyor ( $\omega$ ), tahmini y değerlerimiz ve gerçek y değerlerimizin kovaryansına eşittir (aşağıdaki formül). Bu formülün neden iyimserlik yanlılığını gösterdiğini anlamakta güçlük çekiyorum; safça gerçek arasında güçlü bir kovaryans olduğunu düşünürdüm $y$ ve tahmin edildi $y$ iyimserliği değil, yalnızca doğruluğu açıklar. Birinin formülün türetilmesine yardımcı olup olmadığı veya sezgiyi paylaşıp paylaşamayacağını bana bildirin.

resim açıklamasını buraya girin

error bias validation

— user1885116
kaynak

Çok faydalı, teşekkürler! Denklemlerden birinin küçük bir yazım hatası olduğunu ve şöyle olması gerektiğini düşünüyorum:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— Sleepster

8

Sezgiyle başlayalım.

Kullanmanın yanlış bir tarafı yok $y_i$ tahmin etmek $\hat{y}_i$ . Aslında, bunu kullanmamak değerli bilgileri attığımız anlamına gelir. Ancak, içerdiği bilgilere ne kadar bağlı olduğumuz $y_i$ tahminimize ulaşmak için, tahmincimiz ne kadar iyimser olacak.

Bir uçta, eğer $\hat{y}_i$ sadece $y_i$ , örnek tahmininde mükemmel olacaksınız ( $R^2 = 1$ ), ancak örneklem dışı tahminin kötü olacağından eminiz. Bu durumda (kendiniz kontrol etmek kolaydır), özgürlük dereceleri $df(\hat{y}) = n$ .

Diğer uçta, örnek ortalamasını kullanırsanız $y$ : $y_i = \hat{y_i} = \bar{y}$ hepsi için $i$ , o zaman özgürlük dereceniz sadece 1 olacaktır.

Bu sezgi hakkında daha fazla bilgi için Ryan Tibshirani'nin bu güzel çalışma kağıdına göz atın

Şimdi diğer cevaba benzer bir kanıt, ancak biraz daha açıklama ile

Unutmayın ki, tanım gereği, ortalama iyimserlik:

ω = E_{y} (E r r_{i n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}) | T)] - \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Şimdi ikinci dereceden bir kayıp fonksiyonu kullanın ve kare terimlerini genişletin:

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - \frac{1}{N} \sum_{i = 1}^{N} (y_{i} - {\hat{y}}_{i})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

kullanım $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$ değiştirmek:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y_{i}}}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

Bitirmek için şunu unutmayın: $Cov(x, w) = E[xw] - E[x]E[w]$ , hangi verir:

= \frac{2}{N} \sum_{i = 1}^{N} C o v (y_{i}, {\hat{y}}_{i})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
kaynak

5

İsminin "Ryan Tibshirani" olarak yazıldığını belirtmeliyim Rob Tibshirani

— robert tibshirani

2

Sitemize hoş geldiniz Rob - sadece bir hatayı düzeltmek için burada olmanız bir ayrıcalıktır! Başka bir şey görürseniz, lütfen bize bildirin: ve elbette sizin (veya öğrencilerinizin) yayınlamak isteyebileceği cevaplardan memnuniyet duyarız. Çalışmanız bu sitede, özellikle ESL ve Bootstrap'a Giriş'te

— whuber

Zihin açıklıyor

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$ ? Ayrıca,

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$ ?

— Çerez

7

İzin Vermek $\hat{f}(x_i)=\hat{y}_i$ , sonra

\begin{aligned} ω & = E_{y} [o p] \\ = E_{y} [E r r_{i n} - \bar{e r r}] \\ = E_{y} [E r r_{i n}] - E_{y} [\bar{e r r}] \\ = E_{y} [\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}))] - E_{y} [\frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i}))] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - E_{y} [(y_{i} - {\hat{y}}_{i})^{2}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i} - y_{i} E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}] {\hat{y}}_{i} + E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [({\hat{y}}_{i} - E_{y} [{\hat{y}}_{i}]) ([y_{i} - E_{y} [y_{i}])] \\ = \frac{2}{N} \sum_{i = 1}^{N} c o v ({\hat{y}}_{i}, y_{i}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ QED

— Maciej Lazarewicz
kaynak

1

Son dört adım, bu kovaryans özelliği ile basitleştirilebilir:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98