Sırt regresyon çözümü nasıl türetilir?

40

Ridge regresyonu için çözümün türetilmesiyle ilgili bazı sorunlar yaşıyorum.

Regresyon çözümünü normalleştirme terimi olmadan biliyorum:

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

$\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

— user34790
kaynak

23

Ceza ekleyerek kayıp fonksiyonunu değiştirmek yeterlidir. Matris terimlerinde, ilk ikinci dereceden kayıp işlevi

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$ Beta'ya göre türetmek , normalde

denklemine yol açar ve bu da Ridge tahmincisine yol açar.

β

$\beta$

X^{T} Y = (X^{T} X + λ I) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$

— johnny
kaynak

1

Türev gelip nasıl

λ β^{T} β

$\lambda \beta^T \beta$ eşittir etmek

λ I β

$\lambda I \beta$

— user34790

4

@ user34790 Değil.

değerine eşittir

2 λ β

$2\lambda\beta$ . Ancak, diğer şartlarda benzer 2'li iptal edildi. Tabii ki,

I

$I$ faktörü "normal" cebirdeki 1 faktörü gibi, hiçbir şeyi değiştirmeden istediğiniz herhangi bir yerde çarpabilirsiniz.

— Bill

4

@bill: burada ihtiyacım ilavesi ile çalışır, böylece doğru boyutun bir matris elde etmek : sadece bir sayıl olduğunu

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

— Henry

47

Ne bildiğimizi temel alalım, ki bu, modeli matrisi , -vector yanıtının ve -vector parametresinin ise , amaç işlevidir. $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

(artıkların karelerinin toplamıdır) Normal denklemleri çözdüğünde simge durumuna küçültülür $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

Ridge regresyon objektif fonksiyona başka bir terim ekler (genellikle tüm değişkenleri ortak bir temele koymak için standartlaştırdıktan sonra), en aza indirgemeyi ister

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

Bazı negatif olmayan sabitler için . Artıkların karelerinin toplamı artı katsayıların kendi karelerinin toplamının bir katıdır (küresel bir asgari düzeye sahip olduğunu açıkça gösterir). Çünkü , pozitif bir kare kökü var . $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

Matris düşünün satır tekabül ile artar kez kimlik matrisi : $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν I \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

vektörü , sonunda sıfırlarla e benzer şekilde uzatıldığında , amaç fonksiyonundaki matris ürünü, formunun ek terimlerini ekler. orijinal hedefe. bu nedenle $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

Soldaki ifade biçiminden, Normal denklemlerin olduğu hemen olur.

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

Sıfırları sonuna getirdiğimiz için, sağ taraf aynıdır . Sol tarafta orijinal eklenir . Bu nedenle yeni Normal denklemler basitleştirmek için $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ I) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

Kavramsal olarak ekonomik olmanın yanı sıra - bu sonucu elde etmek için yeni manipülasyonlara gerek yoktur - bu aynı zamanda hesaplama açısından da ekonomiktir: sıradan en küçük kareleri yapma yazılımınız da herhangi bir değişiklik yapmadan sırt regresyonu yapar. (Bununla birlikte, bu amaç için tasarlanan yazılımı kullanmak büyük sorunlarda yardımcı olabilir, çünkü yoğun bir aralıktaki aralığında etkin bir şekilde sonuç elde etmek için özel yapısından faydalanır ve cevapların nasıl değiştiğini araştırmanızı sağlar ile ). $X_{*}$ $\lambda$ $\lambda$

Bir şeylere bu şekilde bakmanın bir başka güzelliği de sırt regresyonunu anlamamıza nasıl yardımcı olabileceğidir. Gerilemeyi gerçekten anlamak istediğimizde, neredeyse her zaman onu geometrik olarak düşünmeye yardımcı olur: sütunları vektörünün gerçek bir vektör uzayında vektörleri oluşturur . Bitişik olarak için bunları uzatan ve böylece, için -vectors -vectors biz Gömdüğünüz daha geniş bir alana içerecek "hayali", karşılıklı dik yönler. ilk sütunu $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ boyutunda küçük bir hayali bileşen verilir , böylece onu uzatır ve orijinal sütunları tarafından oluşturulan alandan çıkarır . İkinci, üçüncü, ..., sütunları benzer şekilde uzatılır ve orijinal alandan aynı miktarda - ancak hepsi farklı yeni yönlerde taşınır . Sonuç olarak, orijinal sütunlarda bulunan herhangi bir eşliklilik derhal çözülecektir. Üstelik, büyüdükçe, bu yeni vektörler bireysel yaklaşırsa $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ hayali yönler: gittikçe daha fazla ortonormal olurlar. Sonuç olarak, Normal denklemlerin çözümü derhal mümkün olacak ve dan arttıkça hızla sayısal olarak kararlı hale gelecektir . $\nu$ $0$

Sürecin bu açıklaması, Ridge Regression'ın ele almak için tasarlandığı sorunlara değinmek için bazı yeni ve yaratıcı yaklaşımlar önerdi . Örneğin, herhangi bir araç kullanılarak (örneğin onların 1980 kitabında Belsley, Kuh ve Welsch tarafından açıklanan varyans ayrışma olarak regresyon Diagnostics , Bölüm 3), sen neredeyse aynı doğrultudaki sütunların alt gruplarını tanımlamak mümkün olabilir , nerede her alt grup diğerine göre neredeyse diktir. Yalnızca birçok satır olarak bitişik ihtiyaç (ve sıfır uzakta onun kardeşleri bir grubun her bir elemanın yer değiştirmesiyle için yeni bir "hayali" boyutunu ithaf) büyük grupta unsur vardır gibidir: İhtiyacınız olmayan hayali Bunu yapmak için boyutları. $X$ $X$ $y$ $p$

— whuber
kaynak

2

Kitabın son yazarı, Galce değil Welsch'tir.

— Mark L. Stone

1

Whoa, bu sadece fikrimi mahvetti. Bu, doğrusal modellerin dışında, yani glm'lerde genelleştirildiğinde ne olduğu hakkında herhangi bir tartışma var mı? Ceza, regresyon regresyonu ile aynı hizada olmamalıdır ... ama bu yorum hala potansiyel bir faydalı tahmin edici olacağı anlamına gelir!

— Cliff AB

2

@Cliff Bu çok ilginç bir öneri. Bununla birlikte, GLM tahminleri daha karmaşık bir şekilde bağlı olduğundan ve tahmin edicileri genellikle OLS için olduğu gibi şeklinde gösterilemez (burada ve ), bir ceza işlevi uygulamak ve sütunlarını değiştirmek arasında faydalı bir ilişki kurmak zor olabilir . Özellikle, değerler ne kadar belirsiz bu işi yapmak için artar gerekecektir.

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

— whuber

1

Evet, cezanın ne olduğunu tespit etmeye çalışmak biraz düşünürdü, ama bunun hakkında endişelenmiyorum. Hangi 'nın kullanılacağı fikri, iki ' ı ekleyebileceğimiz lojistik regresyon durumu dışında, genel olarak kolay değildir ; 0'lardan biri ve 1'lerden biri. Bu artırma, daha sonra "+2 binomial tahmincisi" nin daha genel bir versiyonudur (bu tahmin edicinin boş bıraktığı daha uygun bir isim var, bu temel olarak poster ortalamasını kullanarak binom dağılımından tahmin ederken ) 'den önceki üniforma ile yapılan tahmin .

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

— Cliff AB

@Mark Düzeltme için teşekkürler. Bellekten gittiğimi söyleyebilirsin ... :-).

— whuber

20

Türetme oldukça sıkıcı olabilen matris hesabı içerir. Şu sorunu çözmek istiyoruz:

min_{β} (Y - β^{T} X)^{T} (Y - β^{T} X) + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

Şimdi ve Birlikte birinci dereceden koşula Yalıtım , çözümü sağlar:

\frac{\partial (Y - β^{T} X)^{T} (Y - β^{T} X)}{\partial β} = - 2 X^{T} (Y - β^{T} X)

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β .

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

X^{T} Y = X^{T} X β + λ β .

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = (X^{T} X + λ I)^{- 1} X^{T} Y .

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

— pthesling
kaynak

9

Son zamanlarda P-Splines bağlamında aynı soruyu tökezledim ve kavram aynı olduğundan sırt tahmincisinin türetilmesi hakkında daha ayrıntılı bir cevap vermek istiyorum.

Klasik OLS kriter fonksiyonundan farklı bir ceza fonksiyonu ile başlıyoruz.

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

nerede

$p=$ Modelde kullanılan değişkenlerin miktarı
$x_i^T\beta =$ standart doğrusal tahminciniz
ilk zirve, her zamanki gibi en aza indirgemek istediğimiz MSE'ye (tahminin gerçek değerden kare sapması) cevap verir.
ikinci zirve, katsayılara uygulayacağımız cezaları temsil eder. Burada bir Öklidyen Uzaklık Ölçümü anlamına gelen Ridge bağlamındayız ve bu nedenle ceza verme süresinde 2 derecesini alıyoruz. Bir Kement-Cezalandırma durumunda, 1 derece uygular ve tamamen farklı bir tahminci veririz.

Bu kriteri matris notasyonunda tekrar yazabilir ve daha da bozabiliriz:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ ile kimlik matrisi $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

Şimdi ölçütümüzü en aza indiren arıyoruz . Diğerlerinin yanı sıra bunu matris farklılaşma kuralı kullanan ki biz burada : $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

— Jann Goschenhofer
kaynak

@Jahn, nasıl açıklayabilir misiniz oldu ? Sanırım sadece devrik uyguladın, değil mi? Ancak, transpozisyonu tüm denklemlere uygulamadan sadece bir terime uygulayamazsınız. Burada ne özlüyorum?

y^{T} X β

$y^TX\beta$

β^{T} X^{T} y

$\beta ^TX^Ty$

— tiyatro uzmanı

1

@theateist A aktarılan skalar aynı skalerdir.

— Konstantin,

2

Verilen cevaplarda eksik olan birkaç önemli şey var.

çözümü , birinci dereceden gerekli koşuldan kaynaklanır: ; . Ama bu yeterli mi? Başka bir deyişle, çözüm yalnızca kesinlikle dışbükeyse genel bir minimumdur . Bunun doğru olduğu gösterilebilir. $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
Soruna bakmanın başka bir yolu, ve arasındaki kısıtlanmış için . OLS, Sıradan En Küçük Kareler anlamına gelir. Bu açıdan , dışbükey amaç işlevi dışbükey işlev işlevinin genel bulmak için kullanılan . $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

Bu noktaların iyi bir açıklaması ve türetilmesi bu ince ders notlarında bulunabilir: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf $\beta$

— Davor Josipovic
kaynak