Doğrusal regresyonun sapma-varyans ayrışmasında varyans terimi

'İstatistiksel Öğrenmenin Unsurları' nda, doğrusal modelin sapma-varyans ayrışması ifadesi burada gerçek hedef fonksiyonudur, , modelindeki rastgele hatanın varyansıdır ve lineer tahmin olan .

E r r (x_{0}) = σ_{ϵ}^{2} + E [f (x_{0}) - E \hat{f} (x_{0})]^{2} + | | h (x_{0}) | |^{2} σ_{ϵ}^{2},

$Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,$

f (x_{0})

$f(x_0)$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

y = f (x) + ϵ

$y=f(x)+\epsilon$

\hat{f} (x)

$\hat f(x)$

f (x)

$f(x)$

Varyans terimi burada beni rahatsız ediyor çünkü denklem, hedefler gürültüsüz, yani ise varyansın sıfır olacağını ima ediyorAma bu bana mantıklı değil çünkü sıfır gürültü olsa bile , varyansın sıfır olmadığı anlamına gelen farklı eğitim setleri için farklı tahminciler . $\sigma_\epsilon^2=0.$ $\hat f(x_0)$

Örneğin, hedef fonksiyonunun ikinci dereceden olduğunu ve egzersiz verilerinin bu ikinci dereceden rastgele örneklenmiş iki nokta içerdiğini varsayalım ; açıkça, kuadratik hedeften rastgele iki nokta her örneklediğimde farklı bir doğrusal uyum elde edeceğim. O halde varyans nasıl sıfır olabilir? $f(x_0)$

Önyargı-varyans ayrışması anlayışımdaki neyin yanlış olduğunu bulmamda bana yardımcı olabilir mi?

regression linear-model bias-variance-tradeoff

— Abhinav Gupta
kaynak

Önyargı ve varyans tedavilerinde her zaman gizlenen bir incelik vardır ve okurken buna dikkat etmek önemlidir. Bu bölümdeki bir bölümde ESL'nin ilk birkaç kelimesini tekrar okursanız, yazarlar buna biraz saygı gösterirler.

Hata oranı tahminiyle ilgili tartışmalar kafa karıştırıcı olabilir, çünkü hangi miktarların sabit ve hangilerinin rastgele olduğunu netleştirmeliyiz

İncelik sabit olan ve rastgele olan şeydir .

Geleneksel lineer regresyon tedavilerinde, verileri sabit ve bilinen olarak ele alınır. ESL'deki argümanları takip ederseniz, yazarların da bu varsayımı yaptığını göreceksiniz. Bu varsayımlar altında, örneğin verilen koşullu dağılımından geriye kalan tek rastgelelik kaynağı olarak örneğiniz devreye girmez . Eğer yardımcı olursa , zihninizdeki gösterimini ile değiştirmek isteyebilirsiniz . $X$ $y$ $X$ $Err(x_0)$ $Err(x_0 \mid X)$

Bu, endişenizin geçersiz olduğu anlamına gelmez, eğitim verilerinin seçiminin gerçekten de model algoritmamızda rastlantısallık getirdiğini ve gayretli bir uygulayıcının, bu rastgeleliğin sonuçları üzerindeki etkisini ölçmeye çalışacağı kesinlikle doğrudur. Aslında, bootstrapping ve çapraz validasyonun yaygın uygulamalarının bu rasgelelik kaynaklarını çıkarımlarına açıkça dahil ettiğini açıkça görebilirsiniz.

Rastgele bir eğitim veri seti bağlamında doğrusal bir modelin sapması ve sapması için açık bir matematiksel ifade türetmek için, verilerindeki rasgeleliğin yapısı hakkında bazı varsayımlar yapılması gerekir . Bu, dağılımı hakkında bazı varsayımlar içerecektir . Bu yapılabilir, ancak bu fikirlerin ana akım açıklamalarının bir parçası haline gelmemiştir. $X$ $X$

— Matthew Drury
kaynak

Yazarların sabit olduğunu varsaydıkları gerçeğini temizlediğiniz için çok teşekkür ederiz , bu nedenle buradaki beklenti değil . Ancak yazabiliriz , bu da X'e rastgele davranmanın . sıfırsa yine de sıfır olur . Bu denklem hakkında benzer bir şüphem vardı, bu yazıda türetimi öğrenebilirsiniz : stats.stackexchange.com/questions/307110/…

X

$X$

Y | X

$Y|X$

(X, Y)

$(X,Y)$

E = E_{X} E_{Y | X}

$E=E_XE_{Y|X}$

V a r (\hat{f} (x_{0})) = E_{X} [| | h (x_{0}) | |^{2} σ_{ϵ}^{2}]

$Var(\hat f(x_0))=E_X[||h(x_0)||^2\sigma_\epsilon^2]$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

— Abhinav Gupta

Tahminimce yazarlar, modelin doğru bir şekilde belirtildiğini varsayarlar, yani doğru dönüşümleri olan tüm ve sadece ilgili tahmin edicileri içerir. Yine de onaylamak için belleğime güvenmek yerine kitaba geri dönmem gerekecekti.

— Matthew Drury

Eğer 'doğru bir şekilde' belirtilmişse, hedef fonksiyonun gerçekten doğrusal olduğunu kastediyorsanız, sıfır gürültünün sıfır yanlılık anlamına geleceğini anlıyorum. Ancak hedef fonksiyon doğrusal olmasa bile, varyans için tam olarak aynı ifadeyi alıyoruz.

— Abhinav Gupta

Bu doğrudur, ancak bu durumda "doğru bir şekilde belirtilmiş" , doğru tahmin edicileri içeren bir modele uymak için doğrusal regresyon kullandığınız anlamına gelir . Dolayısıyla, gerçek ilişki ikinci dereceden ise, modelinizin ikinci dereceden terimleri içerdiğini varsayarsınız.

— Matthew Drury