“Spektral ayrışma” yoluyla sırt regresyonu kullanan daralma katsayılarının kanıtı

Sırt regresyonunun katsayıları nasıl geometrik olarak sıfıra indirdiğini anladım. Üstelik bunu özel "Ortonormal Durum" da nasıl kanıtlayacağımı biliyorum ama bunun genel vakada "Spektral ayrışma" yoluyla nasıl çalıştığı konusunda kafam karıştı.

— jeza
kaynak

Kafanızın karıştığını söylediniz, ama sorunuz nedir?

— whuber

Soru, Ridge Regresyonunun katsayı tahminlerini spektral bir ayrışma kullanarak sıfıra doğru çektiğini göstermek istiyor gibi görünüyor. Spektral ayrışma, Tekil Değer Ayrışmasının (SVD) kolay bir sonucu olarak anlaşılabilir . Bu nedenle, bu yazı SVD ile başlar. Basit terimlerle açıklar ve önemli uygulamalarla açıklar. Sonra istenen (cebirsel) gösteriyi sağlar. (Elbette, cebir geometrik gösteriyle aynıdır; sadece farklı bir dilde tutulur.)

Bu cevabın asıl kaynağı regresyon ders notlarımda bulunabilir . Bu sürüm bazı küçük hataları düzeltir.

SVD nedir

ile herhangi bir matrisi yazılabilir burada $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

bir matrisidir. $U$ $n\times p$
- sütunlarının uzunluğu . $U$ $1$
- sütunları karşılıklı olarak diktir. $U$
- Onlar denir başlıca bileşenleri arasında . $X$
, bir matrisidir. $V$ $p \times p$
- sütunlarının uzunluğu . $V$ $1$
- sütunları karşılıklı olarak diktir. $V$
- Bu da , bir dönme ve . $V$ $\mathbb{R}^p$
a,diyagonal matrisi. $D$ $p \times p$
- Diyagonal elemanlar negatif değildir. Bunlar tekil değerler arasında . $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- İstersek, onları büyükten küçüğe sipariş edebiliriz.

Kriteri (1) ve her ikisi de bu (2) Assert ve olan ortonormal matrisler. Koşullara göre düzgün bir şekilde özetlenebilirler $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

Sonuç olarak ( bir dönüşü temsil eder), de. Bu aşağıdaki Ridge Regresyon türevinde kullanılacaktır. $V$ $VV^\prime = 1_p$

Bizim için ne yapar

Formülleri basitleştirebilir. Bu hem cebirsel hem de kavramsal olarak çalışır. İşte bazı örnekler.

Normal Denklemler

regresyonunu düşünün, her zamanki gibi sıfır beklenti ve sonlu varyans olan bir yasaya göre bağımsız ve özdeş olarak dağılmıştır . Normal Denklemler ile en küçük kareler çözüm SVD'nin uygulanması ve ortaya çıkan cebirsel karışıklığın basitleştirilmesi (ki bu kolay) güzel bir fikir sağlar: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

Bu arasındaki tek fark, elemanlarının tanıma değerleri olmasıdır kullanılır! Diğer bir deyişle, "denklemi" "baş aşağı" ile çözülmektedir : bu sözde ters kaldırır rotasyonlar ve (sadece bunları değiştirilmesi ile) ve Undoes (temsil çarpma ) ayrı ayrı her bir prensipte yön. $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

İleride, fark bu tahminler "döndürülmüş" tepkileri "döndürülmüş" doğrusal kombinasyonları . Katsayıları (pozitif olarak) çapraz elemanların tersidir için eşit . $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

Katsayı tahminlerinin kovaryansı

Hatırlayın tahminlerinin kovaryans olduğu SVD kullanarak, bu olur Diğer bir deyişle, kovaryans , her biri değişkenine sahip dik değişkenininki gibi davranır.

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$ , Olmuştur ki döndürülmüş

R^{k}

$\mathbb{R}^k$

Hat matrisi

Şapka matrisi Önceki sonuç sayesinde olarak yeniden yazabiliriz Basit!

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

Özanaliz (spektral ayrışma)

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

$X^\prime X$ $XX^\prime$
$V$ $X^\prime X$
$U$ $X X^\prime$

SVD, eşdoğrusallık sorunlarını teşhis edebilir ve çözebilir.

Regresörlere yaklaşmak

$UDV^\prime$ $U$ $y$

Ridge Regresyon

$X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

$\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ $D^2/(D^2+\lambda)$ $\lambda \gt 0$

$V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

$d_{ii}^{-1}$

— whuber
kaynak

@Glen_b Bu iyi bir nokta: Hangi fraksiyonu düşündüğümü açıkça belirtmeliydim! Bunu düzeltirim.

— whuber

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

@Vimal İyi öneri için teşekkür ederim. Şimdi regresyon modelinin tanıtıldığı "Normal Denklemler" bölümüne bir açıklama ekledim.

— whuber

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

\hat{y}

$\hat{y}$