Sırt regresyonuna neden “sırt” denir, neden ihtiyaç duyulur ve

Ridge regresyon katsayısı tahmin β R minimize değerlerdir$\hat{\beta}^R$

$$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2.$$

Benim sorularım:

1. Eğer $\lambda = 0$ , o zaman ifade yukarıda zamanki RSS azalttığını görüyoruz. Ya $\lambda \to \infty$ ? Ders kitabındaki katsayıların davranışlarının açıklanmasını anlamıyorum.

2. Belirli bir terimin arkasındaki kavramı anlamada yardımcı olmak için neden RIDGE Regression diye adlandırılıyor? (Neden sırt?) Ve genel / ortak regresyonda, sırt regresyonu adı verilen yeni bir konsept ortaya koyma gereğinin ne olduğu yanlış olabilirdi?

Görüşlerin harika olurdu.

Eğer sormak yana anlayışlar , ben daha matematiksel çivinin yerine oldukça sezgisel bir yaklaşım almaya gidiyorum:

1. Cevabım kavramları ardından burada , biz ekleyerek kukla verilerle bir gerileme gibi bir sırt regresyon formüle edebilirsiniz $p$ (sizin formülasyonda) gözlemleri, nerede $y_{n+j}=0$ , $x_{j,n+j}=\sqrt{\lambda}$ ve$x_{i,n+j}=0$için$i\neq j$. Bu genişletilmiş veri seti için yeni RSS yazarsanız, her biri formun bir terimini eklediği ek gözlemleri görürsünüz$(0-\sqrt{\lambda}\beta_j)^2=\lambda\beta_j^2$ , yani yeni RSS orijinal$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2$ - ve RSS'in bu yeni, genişletilmiş veri setinde en aza indirilmesi, sırt regresyonunun en aza indirilmesiyle aynıdır. ölçütü.

   Peki burada ne görebiliriz? Olarak $\lambda$ arttıkça, ilave $x$ her arttıran bir adet yapısal parça -rows ve bu yüzden, bu nokta etkisi de artar. Takılan hiper düzlemi kendilerine doğru çekiyorlar. Sonra da $\lambda$ ve karşılık gelen bileşenleri $x$ 'in sonsuza çıkmak, tüm ilgili katsayılar için 'doğrulmak' $0$ .

   Yani, $\lambda\to\infty$ , ceza minimizasyona hükmeder, böylece $\beta$ sıfıra gidecektir. Eğer engelleme cezalandırılmazsa (olağan dava), model cevap ortalamasına doğru gittikçe küçülür.

2. Neden önce sırtlardan bahsettiğimizi (bu da neden gerekli olduğunu gösterir), sonra da biraz tarihçeyle uğraştığımızı sezgisel bir şekilde anlatacağım. Birincisi, buradaki cevabımdan uyarlanmıştır :

   Eşdüzlemlilik varsa, siz (olabilirlik bir işlevidir olabilirlik fonksiyonu bir "mahya" olsun $\beta$ 'ler). Bu da RSS'de uzun bir "vadi" verir (RSS = $-2\log\mathcal{L}$ beri ).

   Ridge regresyon sırtını "düzeltir" - sırtını olasılık uzayında güzel bir zirveye dönüştüren bir ceza ekler, eşdeğerde en aza indirdiğimiz ölçütte aynı derecede güzel bir depresyon olur:

   
   [ Daha net görüntü ]

   İsmin arkasındaki asıl hikaye biraz daha karmaşık. 1959'da AE Hoerl [1] , tepki yüzeyi metodolojisi için sırt analizi yaptı ve çok yakında [2], regresyonda çoklu bağlanma ile başa çıkmak için adapte oldu ('sırt regresyon'). Örneğin, [3] 'te RW Hoerl’in tartışmasına, burada Hoerl’in (AE, RW değil) yanıt yüzeyinde * kontur çizgilerinin * kullanımını, yerel optima'yı nerede bulacağınızı (nerede birisinin nereye götürdüğünü) tanımladığını açıklar. çıkıntı'). Kötü şartlarda, çok uzun bir sırt sorunu ortaya çıkmakta ve sırt analizinden elde edilen içgörü ve metodoloji regresyondaki / RSS regresyonunu oluşturan regresyon ile ilgili konuya uyarlanmaktadır.

* Yanıt yüzeyi kontur parsellerinin örnekleri (kuadratik cevap durumunda) burada görülebilir (Şekil 3.9-3.12).

Yani, "çıkıntı" aslında $X^TX$ matrisine bir "çıkıntı" (+ ve çapraz) eklemek yerine, optimize etmeye çalıştığımız fonksiyonun özelliklerini ifade eder (yani, regresyon köşegen köşegen eklerken, bu yüzden 'ridge' regresyon diyoruz.

Sırt regresyonu ihtiyacı ile ilgili bazı ek bilgiler için yukarıdaki liste 2'deki ilk bağlantıya bakınız.

---

Referanslar:

[1]: Hoerl, AE (1959). Çok değişkenli denklemlerin optimum çözümü. Kimya Mühendisliği İlerlemesi , 55 (11) 69-78.

[2]: Hoerl, AE (1962). Sırt analizinin regresyon problemlerine uygulamaları. Kimya Mühendisliği İlerlemesi , 58 (3) 54-59.

[3] Hoerl, RW (1985). Ridge Analizi 25 Yıl Sonra. Amerikan İstatistiği , 39 (3), 186-192

1. Eğer ceza süremiz β = 0 dışındaki herhangi bir β için sonsuz olacaktır , yani alacağımız budur. Bize nesnel fonksiyonun sınırlı bir değerini verecek başka bir vektör yoktur.$\lambda \rightarrow \infty$$\beta$$\beta = 0$

(Güncelleme:. Bu Glen_b en cevaba bakınız değil doğru tarihsel nedeni!)

2. $$\hat \beta = (X^TX + \lambda I)^{-1} X^TY.$$ $\lambda I$

$n < p$

$\beta$

$\beta$$\beta \sim N(0, \frac{\sigma^2}{\lambda}I_p)$$(Y|X, \beta) \sim N(X\beta, \sigma^2 I_n)$

$$\pi(\beta | y) \propto \pi(\beta) f(y|\beta)$$

$$\propto \frac{1}{(\sigma^2/\lambda)^{p/2}} \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta \right) \times \frac{1}{(\sigma^2)^{n/2}} \exp \left( \frac{-1}{2\sigma^2} ||y - X\beta||^2 \right)$$

$$\propto \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right).$$

Posterior modu bulalım (posterior ortalamasına veya başka şeylere de bakabiliriz ama bunun için moda bakalım, yani en muhtemel değer). Bu, istediğimiz anlamına gelir.

$$\max_{\beta \in \mathbb R^p} \ \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right)$$

$$\max_{\beta \in \mathbb R^p} \ -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2$$ $\log$ $$\min_{\beta \in \mathbb R^p} ||y - X\beta||^2 + \lambda \beta^T\beta$$

Bu oldukça tanıdık gelmeli.

Böylece ortalama 0 ve varyansı olan normal bir öncekini görürüz.$\frac{\sigma^2}{\lambda}$$\beta$$\beta$$\sigma^2$

$n < p$$\mathbb R^p$$p$$n = p$$||y - X\hat\beta||^2 = 0$$n < p$: Artık bu noktalarla tanımlanan benzersiz bir hiper düzlem yok. Her biri artık toplam karelerden oluşan çok sayıda hiper plana sığabiliriz.

$n = p = 2$$n = 2$$p = 3$

$L_1$$\beta_j = 0$$\beta$$n$$L_1$$L_2$