Önyargı-varyans tradeoff türevini anlama

İstatistiksel öğrenmenin unsurlarının önyargı-varyans dengesi bölümünü okuyorum ve 29. sayfadaki formülde şüphe duyuyorum. Veriler, bir modelden , rasgele olduğu beklenen değere sahip sayı ve Varyans . Modelin hatanın beklenen değeri olsun burada öngörülmesi olup eden öğrencinin. Kitaba göre hata

Y = f (x) + ϵ

$Y = f(x)+\epsilon$

ϵ

$\epsilon$

\hat{ϵ} = E [ϵ] = 0

$\hat{\epsilon} = E[\epsilon]=0$

E [(ϵ - \hat{ϵ})^{2}] = E [ϵ^{2}] = σ^{2}

$E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$

E [(Y - f_{k} (x))^{2}]

$E[(Y-f_k(x))^2]$

f_{k} (x)

$f_k(x)$

x

$x$

E [(Y - f_{k} (x))^{2}] = σ^{2} + B i a s (f_{k})^{2} + V a r (f_{k} (x)) .

$E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)).$

Benim sorum neden önyargı terimi 0 değil? hatanın formülünü geliştirdiğimi görüyorum

E [(Y - f_{k} (x))^{2}] = E [(f (x) + ϵ - f_{k} (x))^{2}] = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] = V a r (f_{k} (x)) + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

olarak bağımsız rastgele bir sayıdır $\epsilon$ $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

Nerede yanılıyorum?

— emanuele
kaynak

Yanıtlar:

Yanlış değilsiniz, ancak beri bir adımda hata . olduğu . $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$ $E[(f(x)-f_k(x))^2]$ $\text{MSE}(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$

\begin{aligned} E [(Y - f_{k} (x))^{2}] & = E [(f (x) + ϵ - f_{k} (x))^{2}] \\ = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] \\ = E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2} \\ = V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2} . \end{aligned}

$\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2. \end{align*}$

Not: $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0.$

— Greenparker
kaynak

İkili sonuçlar söz konusu olduğunda, hata ölçüsü olarak çapraz entropi ile eşdeğer bir kanıt var mı?

— emanuele

İkili bir yanıtla çok iyi çalışmaz. "İstatistiksel Öğrenmenin Unsurları" nın ikinci baskısında Örnek 7.2'ye bakınız.

— Matthew Drury

nasıl gittiğini açıklayabilir misin - ?

E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2}

$Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2$

— Antoine

Önyargı - Varyans ayrışmasının birkaç adımı

Gerçekten de, tam türetme ders kitaplarında nadiren verilir, çünkü pek çok sönük cebir içerir. İşte "İstatistiksel Öğrenmenin Öğeleri" kitabındaki notasyonu kullanarak daha eksiksiz bir türetme sayfa 223

ve ve olduğunu varsayarsak , bir regresyon uyumunun beklenen tahmin hatası için ifadeyi türetebiliriz kare hata kaybı kullanan girişinde $Y = f(X) + \epsilon$ $E[\epsilon] = 0$ $Var(\epsilon) = \sigma^2_\epsilon$ $\hat f(X)$ $X = x_0$

E r r (x_{0}) = E [(Y - \hat{f} (x_{0}))^{2} | X = x_{0}]

$Err(x_0) = E[ (Y - \hat f(x_0) )^2 | X = x_0]$

Notasyonel sadelik için , ve ve olduğunu hatırlayın $\hat f(x_0) = \hat f$ $f(x_0) = f$ $E[f] = f$ $E[Y] = f$

\begin{aligned} E [(Y - \hat{f})^{2}] & = E [(Y - f + f - \hat{f})^{2}] \\ = E [(y - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [(f - \hat{f}) (y - f)] \\ = E [(f + ϵ - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [f Y - f^{2} - \hat{f} Y + \hat{f} f] \\ = E [ϵ^{2}] + E [(f - \hat{f})^{2}] + 2 (f^{2} - f^{2} - f E [\hat{f}] + f E [\hat{f}]) \\ = σ_{ϵ}^{2} + E [(f - \hat{f})^{2}] + 0 \end{aligned}

$\begin{aligned} E[ (Y - \hat f)^2 ] &= E[(Y - f + f - \hat f )^2] \\ & = E[(y - f)^2] + E[(f - \hat f)^2] + 2 E[(f - \hat f)(y - f)] \\ & = E[(f + \epsilon - f)^2] + E[(f - \hat f)^2] + 2E[fY - f^2 - \hat f Y + \hat f f] \\ & = E[\epsilon^2] + E[(f - \hat f)^2] + 2( f^2 - f^2 - f E[\hat f] + f E[\hat f] ) \\ & = \sigma^2_\epsilon + E[(f - \hat f)^2] + 0 \end{aligned}$

terimi için, yukarıdaki gibi benzer bir numara kullanabiliriz, elde etmek için ekleyip çıkarabiliriz $E[(f - \hat f)^2]$ $E[\hat f]$

\begin{aligned} E [(f - \hat{f})^{2}] & = E [(f + E [\hat{f}] - E [\hat{f}] - \hat{f})^{2}] \\ = E {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = B i a s^{2} [\hat{f}] + V a r [\hat{f}] \end{aligned}

$\begin{aligned} E[(f - \hat f)^2] & = E[(f + E[\hat f] - E[\hat f] - \hat f)^2] \\ & = E \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = Bias^2[\hat f] + Var[\hat f] \end{aligned}$

Bir araya getirmek

E [(Y - \hat{f})^{2}] = σ_{ϵ}^{2} + B i a s^{2} [\hat{f}] + V a r [\hat{f}]

$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$

bazı yorumlar $E[\hat f Y] = f E[\hat f]$

Burada Alecos Papadopoulos'tan alınmıştır

Hatırlatma; biz göre inşa olan belirleyicisidir veri noktası böylece hatırlamak için . $\hat f$ $m$ $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$ $\hat f = \hat f_m$

Öte yandan , yukarıdaki veri noktalarında oluşturulan modeli kullanarak yeni bir veri noktası üzerinde yaptığımız tahmindir . Yani Ortalama Kare Hatası şu şekilde yazılabilir: $Y$ $(x^{(m+1)},y^{(m+1)})$ $m$

E [{\hat{f}}_{m} (x^{(m + 1)}) - y^{(m + 1)}]^{2}

$E[\hat f_m(x^{(m+1)}) - y^{(m+1)}]^2$

Denklemin bir önceki bölümden genişletilmesi

E [{\hat{f}}_{m} Y] = E [{\hat{f}}_{m} (f + ε)] = E [{\hat{f}}_{m} f + {\hat{f}}_{m} ε] = E [{\hat{f}}_{m} f] + E [{\hat{f}}_{m} ε]

$E[\hat f_m Y]=E[\hat f_m (f+ \epsilon)]=E[\hat f_m f+\hat f_m \epsilon]=E[\hat f_m f]+E[\hat f_m \epsilon]$

Denklemin son kısmı şu şekilde görülebilir:

E [{\hat{f}}_{m} (x^{(m + 1)}) \cdot ε^{(m + 1)}] = 0

$E[\hat f_m(x^{(m+1)}) \cdot \epsilon^{(m+1)}] = 0$

noktası hakkında aşağıdaki varsayımları yaptığımızdan : $x^{(m+1)}$

O edildi değil oluşturarak zaman kullanılır $\hat f_m$
Diğer tüm gözlemlerden bağımsızdır $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$
bağımsızdır $\epsilon^{(m+1)}$

Tam türevli diğer kaynaklar

— Xavier Bourret Sicotte
kaynak

Neden ? ve nin bağımsız olduğunu düşünmüyorum , çünkü temelde kullanılarak inşa edilmiştir .

E [\hat{f} Y] = f E [\hat{f}]

$E[\hat{f}Y]=f E[\hat{f}]$

Y

$Y$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

Y

$Y$

— Felipe Pérez

Ama soru aslında aynı, neden ? rastgele hata hata geliyor bu yüzden ve neden bağımsız olacağını ve bu nedenle .

E [\hat{f} ϵ] = 0

$E[\hat{f}\epsilon]=0$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

E (\hat{f} ϵ) = 0

$\mathbb{E}(\hat{f}\epsilon)=0$

— Felipe Pérez

Kesinliğinizden, örnek içi ve örnek dışı perspektifin çok önemli olduğu görülmektedir. Bu yüzden bu? Örneklemde sadece çalışmak ve o zaman, bakınız artık önyargı varyans olarak ortadan değiş tokuş?

ϵ

$\epsilon$

— markowitz

@ FelipePérez anladığım kadarıyla, nin rastgele olması , tren-test bölünmesinden (puanlar eğitim setinde sona ermiş ve eğitimli öngörücü olarak vermiştir ) geliyor. Başka bir deyişle, varyansı, belirli bir sabit veri kümesinin eğitim seti olarak alabileceğimiz tüm olası alt kümelerinden gelir. Veri kümesi sabit olduğundan, epsilon'dan gelen herhangi bir rastgelelik yoktur ve bu nedenle ve bağımsızdır.

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

— Alberto Santini

Önyargı-varyans tradeoff türevini anlama

Önyargı - Varyans ayrışmasının birkaç adımı

bazı yorumlarE[ f^Y] = fE[ f^]E[f^Y]=fE[f^]E[\hat f Y] = f E[\hat f]

Tam türevli diğer kaynaklar

bazı yorumlar $E[\hat f Y] = f E[\hat f]$