Ridge Regresyonu, çoklu doğrusallık varlığında neden iyi çalışıyor?

Sırt regresyonunu öğreniyorum ve sırt regresyonunun çok doğrusallık varlığında daha iyi çalışma eğiliminde olduğunu biliyorum. Bunun neden doğru olduğunu merak ediyorum? Sezgisel veya matematiksel bir cevap tatmin edici olacaktır (her iki cevap türü de daha tatmin edici olacaktır).

Ayrıca, bu biliyoruz her zaman elde edilebilir, ama ne kadar iyi tam kolineer mevcudiyetinde sırt regresyon çalışması (bağımsız değişken bir doğrusal fonksiyonudur) mı? $\hat{\beta}$

multicollinearity ridge-regression

— TrynnaDoStat
kaynak

İkinci sorunuzla ilgili olarak: Tam bir doğrusal doğrusallığınız varsa, değişkenlerden birini kaldırabilirsiniz. Sırt regresyonuna ihtiyacınız yok.

— Peter Flom - Monica'yı eski durumuna döndürün

$x_1$ $x_2$ $y$ 3. boyuttur) ve genellikle çok açık bir "en iyi" düzlem vardır. Ancak doğrusallık ile ilişki, etrafına dağılmış verilerle 3 boyutlu uzayda bir çizgidir. Ancak regresyon rutini bir çizgiyi bir çizgiye sığdırmaya çalışır, bu yüzden o çizgiyle mükemmel şekilde kesişen sonsuz sayıda düzlem vardır, hangi düzlem seçilirse verilerdeki etkili noktalara bağlıdır, bu noktalardan birini biraz değiştirir ve "en iyi" montaj düzlemi biraz değişir. Sırt regresyonunun yaptığı, seçilen düzlemi daha basit / akılcı modellere çekmek (bias değerleri 0'a doğru). Veriler hoş bir uzlaşma için onu çekecekken, başlangıç noktasından (0,0,0) düzlemi 0'a doğru çeken düzleme kadar bir lastik bant düşünün.

— Greg Snow
kaynak

@Trynna, Greg'in eşbiçimlilik sorunu hakkında söylediklerini gösteren resimler var .

— ttnphns

Bu, OLS regresyonunda çoklu doğrusallığın neden bir sorun olduğu hakkında çok iyi bir geometrik açıklamadır! Ama uçağı neden başlangıç noktasına çekmenin sorunu çözdüğünü hala tam olarak anlamıyorum.

— TrynnaDoStat

@TrynnaDoStat, Temel endişe tahminlerin değişkenliğidir, çok doğrusallık ile, tek bir veri noktasında küçük bir değişiklik katsayı tahminlerini çılgınca sallayabilir (önyargısız). 0'a doğru eğilimle, katsayıların tahminlerinde çok fazla değişiklik olmaz (çünkü bu lastik bant onları 0'a doğru çeker), tek bir veri noktasında küçük bir değişiklikle, değişkenliği azaltır.

— Greg Snow

Resimlere bağlantı için @ttnphns teşekkürler: onsuz cevap almak için bir streç oldu. Şimdi Greg'in cevabı açık ve ESLII'de bu satırı anlamak için neye ihtiyacım vardı (2. baskı): "bir değişken üzerindeki çılgınca büyük pozitif katsayı, ilişkili kuzenine benzer şekilde büyük bir negatif katsayı ile iptal edilebilir. bu sorunun azaldığı katsayılar. "

— Tommaso Guerrini