Sırt regresyonunda “matris inversiyonunun sayısal kararlılığı” için açıklayıcı açıklama ve fazlalığı azaltmada rolü

En küçük kareler regresyon probleminde düzenlemeyi uygulayabileceğimizi anlıyorum.

$$\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right]$$

ve bu sorunun şu şekilde kapalı bir çözümü olduğunu:

$$\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}.$$

2. denklemde, düzenlileştirmenin, matris tersinin sayısal kararlılığını geliştirmek için yapılan \ boldsymbol {X} ^ T \ boldsymbol {X} ' un köşegenine \ lambda eklediğini görüyoruz .$\lambda$$\boldsymbol{X}^T\boldsymbol{X}$

Şu andaki 'kaba' sayısal kararlılık anlayışım, bir işlev daha 'sayısal olarak kararlı' hale gelirse, çıktısının girdilerindeki gürültüden daha az etkileneceği yönündedir. Bu geliştirilmiş sayısal kararlılık kavramını, aşırı sığdırma sorununu nasıl önlediğini / azalttığını gösteren daha büyük resimle ilişkilendirmekte zorlanıyorum.

Wikipedia'ya ve diğer birkaç üniversite web sitesine bakmayı denedim , ancak bunun neden böyle olduğunu açıklamak için derinlemesine ilerlemiyorlar.

Doğrusal modelde , ortalama sıfır ve tam sütun sıralamasına sahip ilişkisiz hatalar varsayarak , en küçük kareler tahmincisi parametre için tarafsız bir tahmin edicidir . Bununla birlikte, bu tahminci yüksek değişkenliğe sahip olabilir. Örneğin, iki sütunu birbiriyle oldukça ilişkili olduğunda.$Y=X\beta + \epsilon$$X$$(X^TX)^{-1}X^TY$$\beta$$X$

ceza parametresi , yanlı bir tahmincisi yapar , ancak varyansını azaltır. Ayrıca, posterior beklentisi olan bir ile Bayesian regresyon ilişkin geçmiş . Bu anlamda, bileşenlerinin sıfırdan çok uzak olmaması gerektiğini söyleyen analize bazı bilgiler ekliyoruz. Yine, bu bizi yanlı bir nokta tahminine götürür ancak tahminin varyansını azaltır.$\lambda$$\hat{w}$$\beta$$\hat{w}$$\beta$$N(0,\frac{1}{\lambda}I)$$\beta$$\beta$$\beta$

yüksek boyutlu, örneğin ayarlandığı bir ortamda , en küçük kareler sığacak verilerle neredeyse mükemmel şekilde eşleşecektir. Tarafsız olmasına rağmen, bu tahmin verilerdeki dalgalanmalara karşı oldukça hassas olacaktır, çünkü bu kadar yüksek boyutlarda, yüksek kaldıraçlı birçok nokta olacaktır. Bu gibi durumlarda nın bazı bileşenlerinin işareti tek bir gözlemle belirlenebilir. Ceza süresi, bu tahminleri sıfıra doğru küçültme etkisine sahiptir, bu da varyansı azaltarak tahmin edenin MSE'sini azaltabilir.$X$$N \approx p$$\hat{\beta}$

Düzenleme: İlk cevabımda ilgili bir makaleye link verdim ve acelemde onu kaldırdım. İşte: http://www.jarad.me/stat615/papers/Ridge_Regression_in_Practice.pdf

Sayısal kararlılık ve aşırı uyum bir anlamda ilişkili ancak farklı konulardır.

Klasik OLS sorunu:

Klasik en küçük kareler sorununu düşünün:

$$\operatorname*{minimize}(\text{over $\mathbf{b}$}) \quad(\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b})$$

Çözüm klasik . Bir fikir, çok sayıda yasa ile:$\hat{\mathbf{b}} = (X'X)^{-1}(X'\mathbf{y})$

$$\lim_{n \rightarrow \infty} \frac{1}{n} X'X \rightarrow \mathrm{E}[\mathbf{x}\mathbf{x}'] \quad \quad \quad \lim_{n \rightarrow \infty} \frac{1}{n} X'\mathbf{y} \rightarrow \mathrm{E}[\mathbf{x}y]$$

Bu nedenle OLS tahmini ayrıca . (Doğrusal cebir terimleriyle, bu, rasgele değişken rasgele değişkenlerinin doğrusal açıklığına doğrusal projeksiyonudur .)$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{x}\mathbf{x}']^{-1}\mathrm{E}[\mathbf{x}y]$$y$$x_1, x_2, \ldots, x_k$

Sorunlar?

Mekanik olarak ne yanlış gidebilir? Olası sorunlar nelerdir?

1. Küçük örnekler için ve örnek tahminlerimiz zayıf olabilir.$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$
2. sütunları eşdoğrusalsa (doğal eşdoğrusallık veya küçük örneklem büyüklüğü nedeniyle), sorunun sürekli bir çözümü olacaktır! Çözüm benzersiz olmayabilir. $X$
   • Bu, sıralama eksikse oluşur.$\mathrm{E}[\mathbf{x}\mathbf{x}']$
   • Bu aynı zamanda, sorunlarının sayısına göre küçük örneklem büyüklüğü nedeniyle sıralama eksikliği varsa da oluşur .$X'X$

tahmini , temel popülasyonda bulunmayan örneklemdeki kalıpları yansıtmaya başladığında , problem (1) aşırı sığmaya neden olabilir . Bu tahmin ve de ve$\hat{\mathbf{b}}$$\frac{1}{n}X'X$$\frac{1}{n}X'\mathbf{y}$$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$

Sorun (2), bir çözümün benzersiz olmadığı anlamına gelir. Bireysel ayakkabıların fiyatını tahmin etmeye çalıştığımızı düşünün, ancak ayakkabı çiftleri her zaman birlikte satılıyor. Bu kötü bir sorun, ama diyelim ki yine de yapıyoruz. Sol ayakkabı fiyatının artı doğru ayakkabı fiyatının 50 $ 'a eşit olduğuna inanabiliriz , ancak bireysel fiyatları nasıl bulabiliriz? Sol ayakkabı fiyatları ve sağ ayakkabı fiyatı mı? Tüm olasılıklardan nasıl seçim yapabiliriz?$p_l = 45$$p_r = 5$

Tanıtımı penaltı:$L_2$

Şimdi düşünün:

$$\operatorname*{minimize}(\text{over }\mathbf{b})\quad (\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b}) + \lambda\|\boldsymbol{b}\|^2$$

Bu bize her iki tür problemde de yardımcı olabilir. ceza bizim tahminini iter sıfıra doğru. Bu katsayı değerleri üzerinden dağılım etrafında merkezlenmeden önce Bayesci olarak etkili bir şekilde işlev görür . Aşırı takmaya yardımcı olur. Tahminimiz hem verileri hem de nin sıfıra yakın olduğuna dair ilk inancımızı yansıtacaktır .$L_2$$\mathbf{b}$$\mathbf{0}$$\mathbf{b}$

$L_2$ düzenlenmesi de her zaman kötü durumdaki sorunlara benzersiz bir çözüm bulmak için kullanılır. Sol ve sağ ayakkabıların toplamının olduğunu , normunu da en aza indiren çözüm .$\$50$$L_2$$p_l = p_r = 25$

Bu sihir mi? Hayır. Düzenleme, soruyu gerçekten yanıtlamamıza izin verecek verileri eklemekle aynı şey değildir. düzenlenmesi bir anlamda veri eksikliği varsa yakın tahminleri seçtiği görüşünü benimser .$L_2$$0$