Önyargı-varyans dengesini, kestiricinin önyargısı ile modelin önyargısı arasındaki ilişkiyi ve kestiricinin varyansı ile modelin varyansı arasındaki ilişkiyi anlamaya çalışıyorum.

Bu sonuçlara geldim:

• Tahmincinin önyargısını ihmal ettiğimizde verileri tersine çevirme eğilimindeyiz, yani sadece modelin varyansını ihmal eden modelin yanlılığını en aza indirmeyi amaçladığımızda tahmin edicinin önyargısı da)
• Tam tersine, tahmin edicinin varyansını ihmal ettiğimizde, yani sadece modelin sapmasını ihmal eden modelin varyansını en aza indirmeyi amaçladığımız verileri (yani başka bir deyişle, yalnızca tahmin edicinin varyansını da dikkate almadan tahmin edicidir).

Çıkarımlar doğru mu?

İyi sıralama. Belirtildiği gibi, önyargıyı veya sapmayı en aza indirgemek için bilim adamına niyeti ifade ediyorsunuz. Pratikte, modelinizin önyargısını veya varyansını açıkça gözlemleyemezsiniz (eğer yapabilirseniz, gerçek sinyali bilirsiniz, bu durumda bir modele ihtiyacınız olmaz). Genel olarak, modelinizin hata oranını yalnızca belirli bir veri kümesinde gözlemleyebilirsiniz ve çeşitli yaratıcı teknikler kullanarak örnek dışı hata oranını tahmin etmeye çalışırsınız.

Şimdi yok teorik olarak en azından, bu hata oranı önyargı ve varyans açısından ayrılacak olabilir, biliyorum, ama doğrudan herhangi bir özel somut durumda bu dengeyi gözlemlemek mümkün değil. Bu yüzden gözlemlerinizi hafifçe şöyle ifade ederim:

• Önyargı terimi örneklem dışı hatanın çoğuna katkıda bulunduğunda bir model verilere uygun değildir.
• Bir model, varyans terimi örneklem dışı hatanın çoğuna katkıda bulunduğunda verilere uygun değildir.

Genel olarak, kesin olarak bilmenin gerçek bir yolu yoktur, çünkü model yanlılığını asla gerçekten gözlemleyemezsiniz. Bununla birlikte, bir durumda veya başka bir durumda olduğunun göstergesi olan çeşitli davranış kalıpları vardır:

• Overfit modelleri, bir test veri setinde bir egzersiz veri setine kıyasla çok daha iyi uyum performansına sahip olma eğilimindedir.
• Underfit modelleri, bir test ve eğitim veri setinde benzer uyum performansına sahip olma eğilimindedir.

Bunlar, model karmaşıklığına göre ünlü hata oranlarında ortaya çıkan kalıplardır, bu İstatistiksel Öğrenmenin Unsurlarındandır:

Çoğu zaman bu araziler bir sapma ve varyans eğrisi ile kaplanır. Bunu bu güzel sergiden aldım :

Ancak, herhangi bir gerçekçi durumda bu ek eğrileri asla göremeyeceğinizi fark etmek çok önemlidir .

Bir oyuncak örneği kullanarak Sapma - Varyans Tradeoff'unu örnekleme

@ Mathew Drury'un belirttiği gibi, gerçekçi durumlarda son grafiği göremezsiniz, ancak aşağıdaki oyuncak örneği, yararlı bulanlara görsel yorumlama ve sezgi sağlayabilir.

Veri kümesi ve varsayımlar

$Y$ rastgele değişken olarak tanımlanmış

• $Y = sin(\pi x - 0.5) + \epsilon$$\epsilon \sim Uniform(-0.5,0.5)$ veya başka bir deyişle
• $Y = f(x) + \epsilon$

$x$$Y$$Var(Y) = Var(\epsilon) = \frac{1}{12}$

$\hat f(x) = \beta_0 + \beta_1x + \beta_1 x^2 + ... + \beta_px^p$

Çeşitli polinom modellerinin takılması

Sezgisel olarak, veri kümesi açıkça doğrusal olmadığı için düz bir çizgi eğrisinin kötü performans göstermesini beklersiniz. Benzer şekilde, çok yüksek mertebeden bir polinom yerleştirmek aşırı olabilir. Bu sezgi, çeşitli modelleri ve tren ve test verileri için karşılık gelen Ortalama Kare Hatasını gösteren aşağıdaki grafikte yansıtılmaktadır.

Yukarıdaki grafik tek bir tren / test bölümü ancak genelleme olup olmadığını nasıl biliyoruz?

Beklenen tren ve test MSE'sinin tahmin edilmesi

Burada birçok seçeneğimiz var, ancak bir yaklaşım verileri rastgele tren / test arasında bölmek - modeli verilen bölmeye sığdırmak ve bu deneyi birçok kez tekrarlamaktır. Ortaya çıkan MSE çizilebilir ve ortalama beklenen hatanın bir tahminidir.

Test MSE'nin verilerin farklı tren / test bölümleri için çılgınca dalgalandığını görmek ilginçtir. Ancak ortalamanın yeterince çok sayıda denemeye alınması bize daha iyi güven verir.

Sapmasını gösteren gri noktalı çizgiye dikkat edin $Y$başında hesapladı. Anlaşılmaktadır ortalama Test MSE bu değerin altına asla

 Önyargı - Varyans Ayrışması

As açıkladı Burada MSE 3 ana bileşenden içine ayrılabilir:

$$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$$ $$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2$$

Bizim oyuncak durumda nerede:

• $f$ ilk veri kümesinden bilinir
• $\sigma^2_\epsilon$ üniform dağılımından bilinmektedir $\epsilon$
• $E[\hat f]$ yukarıdaki gibi hesaplanabilir
• $\hat f$ açık renkli bir çizgiye karşılık gelir
• $E\left[ \hat f - E[ \hat f] \right]^2$ ortalamayı alarak tahmin edilebilir

Aşağıdaki ilişkiyi vermek

Not: yukarıdaki grafik modele uyacak şekilde egzersiz verilerini kullanır ve MSE'yi tren + testinde hesaplar .