Nasıl regresyon katsayıları bulmak için

Sırt regresyonunda, minimize edilecek objektif fonksiyon:

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

Bu, Lagrange çarpanı yöntemi kullanılarak optimize edilebilir mi? Yoksa düz bir ayrım mı?

regression regularization ridge-regression

— Minaj
kaynak

Başlık (

odaklanan

λ

$\lambda$ ) ve soru (yalnızca

ilgili gibi görünen) arasındaki bağlantı nedir

β_{j}

$\beta_j$ ? "Optimize edilecek" ifadesinin, hangi değişkenlerin değiştirilebileceği ve hangilerinin düzeltileceğine bağlı olarak belirgin şekilde farklı yorumlara sahip olabileceğinden endişeliyim.

— whuber

teşekkürler soruyu değiştirdi. Bunu okudum

λ

$\lambda$ sahip olduğunuz anlamına gelir ama ben inanıyorum - çapraz doğrulama ile bulunur

β_{j}

$\beta_j$ zaten ve en iyi bulmak için kullandığı veriler farklıdır

λ

$\lambda$ Soru - nasıl buluyor musunuz

β_{j}

$\beta_j$ ilk etapta 's

ne zaman

λ

$\lambda$ bilinmiyor?

— Minaj

Sırt problemi için iki formülasyon vardır. Birincisi

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

tabi

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

Bu formülasyon, regresyon katsayıları üzerindeki boyut kısıtlamasını göstermektedir. Bu kısıtlamanın ne anlama geldiğine dikkat edin; katsayıları yarıçap ile köken etrafındaki bir topun içinde yatmaya zorluyoruz . $\sqrt{s}$

İkinci formülasyon tam olarak sizin probleminiz

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

Largrange çarpan formülasyonu olarak görülebilir. Burada bir ayar parametresi olduğunu ve daha büyük değerlerin daha fazla büzülmeye yol açacağını unutmayın. İfadeyi ile ayırt etmeye ve iyi bilinen sırt tahmincisini elde etmeye devam edebilirsiniz. $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ I)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

İki formülasyon tamamen eşdeğerdir , çünkü ve arasında bire bir yazışma vardır . $s$ $\lambda$

Bu konuyu biraz açıklayayım. İdeal dikey durumda olduğunuzu düşünün, . Bu oldukça basitleştirilmiş ve gerçekçi olmayan bir durum ama tahmin ediciyi biraz daha yakından araştırabiliriz. (1) denklemine ne olduğunu düşünün. Sırt tahmincisi $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

dikey durumda olduğu gibi OLS tahmincisi . Şimdi bu bileşen açısından bakıyoruz $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

O zaman, büzülmenin tüm katsayılar için sabit olduğuna dikkat edin. Bu, genel durumda geçerli olmayabilir ve gerçekten de matrisinde dejenerasyonlar varsa büzülmelerin büyük ölçüde değişeceği gösterilebilir . $\mathbf{X}^{\prime} \mathbf{X}$

Ancak kısıtlı optimizasyon sorununa geri dönelim. KKT teorisine göre , iyimserlik için gerekli bir koşul

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

yani veya (bu durumda kısıtlamanın bağlayıcı olduğunu söyleriz). Eğer o zaman hiçbir ceza yoktur ve geri düzenli EKK durumdayız. Diyelim ki kısıtlamanın bağlayıcı olduğunu ve ikinci durumda olduğumuzu varsayalım. (2) 'deki formülü kullanarak, $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

nereden alıyoruz

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

daha önce iddia edilen bire bir ilişki. Ortogonal olmayan durumda bunun daha zor olmasını bekliyorum ama sonuç ne olursa olsun devam ediyor.

Yine (2) tekrar bakmak ve göreceksiniz ki hala eksik . En uygun değeri elde etmek için, çapraz doğrulamayı kullanabilir veya sırt izine bakabilirsiniz. İkinci yöntem (0,1) ' de bir dizisi oluşturmayı ve tahminlerin nasıl değiştiğini incelemeyi içerir. Daha sonra onları sabitleyen seçersiniz . Bu yöntem, bu arada aşağıdaki referansların ikincisinde önerilmiştir ve en eskisidir. $\lambda$ $\lambda$ $\lambda$

Referanslar

Hoerl, Arthur E. ve Robert W. Kennard. "Ridge regresyon: Dikey olmayan problemler için önyargılı tahmin." Technometrics 12.1 (1970): 55-67.

Hoerl, Arthur E. ve Robert W. Kennard. "Ridge regresyon: dikey olmayan problemlere uygulamalar." Technometrics 12.1 (1970): 69-82.

— JohnK
kaynak

@Minaj Ridge regresyonunun tüm katsayılar (kesişme noktası hariç) için sürekli büzülmesi vardır. Bu yüzden sadece bir çarpan var.

— JohnK

@amoeba Bu, 1970'lerde sırt regresyonunu başlatan insanlar Hoerl ve Kennard'ın bir önerisidir. Deneyimlerine ve benimkine dayanarak, katsayılar aşırı derecede çok doğrusallık olsa bile bu aralıkta stabilize olacaktır. Tabii ki, bu ampirik bir stratejidir ve bu yüzden her zaman çalışacağı garanti edilmez.

— JohnK

Ayrıca, sözde gözlem yöntemini yapabilir ve tahminleri, düz en küçük kareler regresyon programından daha karmaşık bir şeyle elde edebilirsiniz. Aynı şekilde değiştirmenin etkisini de araştırabilirsiniz .

λ

$\lambda$

— Glen_b

@amoeba Sırtın ölçek değişmez olmadığı doğrudur, bu nedenle verileri önceden standartlaştırmak yaygın bir uygulamadır. Bir göz atmak istemeniz durumunda ilgili referansları ekledim. Son derece ilginç ve çok teknik değiller.

— JohnK

@JohnK aslında sırt regresyonu her bir farklı bir miktarda küçültür , bu nedenle sadece bir büzülme parametresi olsa bile büzülme sabit değildir .

β

$\beta$

λ

$\lambda$

— Frank Harrell

Regresyon Modelleme Stratejileri kitabım seçmek için etkili AIC kullanımını araştırıyor . Bu, cezalandırılmış günlük olasılığı ve etkili serbestlik derecelerinden gelir; ikincisi, 'nın cezalandırma ile ne kadar varyansının azaltıldığının bir fonksiyonudur . Bununla ilgili bir sunum burada . R paketi , etkili AIC'yi optimize eden bulur ve ayrıca birden fazla ceza parametresine izin verir (örneğin, doğrusal ana efektler için bir, doğrusal olmayan ana efektler için bir, doğrusal etkileşim efektleri için bir ve doğrusal olmayan etkileşim efektleri için bir). $\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— Frank Harrell
kaynak

+1. seçmek için açık formülle (yani aslında CV gerçekleştirmeden) hesaplanan bir kerelik bırakma CV hatasını kullanmayı düşünüyorsunuz ? Pratikte "etkili AIC" ile nasıl karşılaştırıldığı hakkında bir fikriniz var mı?

λ

$\lambda$

— amip diyor Reinstate Monica

Bunu ben incelemedim. LOOCV çok fazla hesaplama gerektirir.

— Frank Harrell

Açık formül kullanılıyorsa değil: stats.stackexchange.com/questions/32542 .

— amip diyor Reinstate Monica

Bu formül, genel olarak maksimum olasılık için değil, özel OLS vakası için geçerlidir. Ancak puan kalıntılarını kullanan yaklaşık bir formül vardır. Yine de bu tartışmada OLS hakkında konuştuğumuzu anlıyorum.

— Frank Harrell

Analitik olarak değil, sayısal olarak yapıyorum. Ben genellikle RMSE vs λ arsa:

Şekil 1. RMSE ve sabit λ veya alfa.

— Lennart
kaynak

Bu belli bir değere düzeltmek anlamına mı ve sonra bulmak için ifadesini ayırt 's RMSE hesaplamak ve yeni değerleri için baştan işlemi yapmanız bundan sonra ?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Minaj