Serbestlik derecesi ve girdi matrisi verilen sırt regresyonunda düzenlenme parametresi nasıl hesaplanır?

11

A bağımsız değişkenlerin matrisi, B bağımlı değerlerin karşılık gelen matrisi olsun. Sırt regresyon olarak, bir parametre tanımlamak böylece: . Şimdi [usv] = svd (A) ve 's' diyagonal girişini yapalım . serbestlik derecelerini (df) = . Ridge regresyon düşük varyans bileşenlerinin katsayıları ve dolayısıyla parametre küçülür için kontroller freedom.So dereceleri $n \times p$ $n \times 1$ $\lambda$ $\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$ $d_{i}=i^{th}$ $\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$ $\lambda$ $\lambda=0$ normal regresyon söz konusu olduğunda, df = n ve dolayısıyla tüm bağımsız değişkenler dikkate alınacaktır. Karşılaştığım sorun 'df' ve matris 's' verilen değerini bulmaktır . Yukarıdaki denklemi yeniden düzenlemeye çalıştım ama kapalı bir form çözümü elde edemedim. Lütfen yararlı işaretçiler sağlayın. $\lambda$

ridge-regression

— Amit
kaynak

Eh ihtiyaç zamanı (muhtemelen başkalarının size yardım etmek için daha hızlı olacaktır) bu cevap, ancak çoğu anlayışlar alınabilir stat.lsa.umich.edu/~kshedden/Courses/Stat600/Notes/... Ve ne tanımında bir şekilde özlediğim için özgürlük dereceleri .

k

$k$

λ

$\lambda$

— Dmitrij Celov

@Dmitrij: Yanıt için teşekkürler, soruları güncelledim ve 'k' yerine

λ

$\lambda$

— Amit

Merhaba Amit, düzenlenme parametresini hesaplamadan önce serbestlik derecelerinin ne olduğunu nasıl bilebilirsiniz?

— Baz

9

Bir Newton-Raphson / Fisher-puanlama / Taylor-serisi algoritması buna uygundur.

Bu çözme denklemi sahip için ile türevi Sonra şunu elde edersiniz: $\lambda$

h (λ) = Σ_{ben = 1}^{p} \frac{d_{ben}^{2}}{d_{ben}^{2} + λ} - d f = 0

$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$

\frac{\partial h}{\partial λ} = - Σ_{ben = 1}^{p} \frac{d_{ben}^{2}}{(d_{ben}^{2} + λ)^{2}}

$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$

h (λ) \approx h (λ^{(0)}) + (λ - λ^{(0)}) \frac{\partial h}{\partial λ} |_{λ = λ^{(0)}} = 0

$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$

için yeniden düzenleme : Bu yinelemeli aramayı ayarlar. İlk başlangıç değerleri için, toplamda olduğunu varsayalım , elde edersiniz . $\lambda$

λ = λ^{(0)} - {[\frac{\partial h}{\partial λ} |_{λ = λ^{(0)}}]}^{- 1} h (λ^{(0)})

$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$

d_{i}^{2} = 1

$d^{2}_{i}=1$

λ^{(0)} = \frac{p - d f}{d f}

$\lambda^{(0)}=\frac{p-df}{df}$

λ^{(j + 1)} = λ^{(j)} + {[Σ_{ben = 1}^{p} \frac{d_{ben}^{2}}{(d_{ben}^{2} + λ^{(j)})^{2}}]}^{- 1} [Σ_{ben = 1}^{p} \frac{d_{ben}^{2}}{d_{ben}^{2} + λ^{(j)}} - d f]

$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$

Bu doğru yönde "gider" ( toplama çok büyük olduğunda artırın , çok küçük olduğunda azaltın) ve tipik olarak çözülmesi için sadece birkaç tekrarlama gerekir. Ayrıca işlev monotoniktir ( bir artış / azalma her zaman toplamı azaltır / artırır), böylece benzersiz bir şekilde birleşir (yerel maksimum yok). $\lambda$ $\lambda$

— probabilityislogic
kaynak

thnx çok, ama şüphesiz neden varsaymalıyız , çünkü onların doğru değerleri zaten var ... Bir matlab kodu yazarak bu formülü kontrol ettim ve bu varsayımı almadım , ama iyi çalışıyor ve doğru çözüm veriyor

d_{i}^{2} = 1

$d_{i}^2=1$

— Amit

Varsayım sadece ' nın başlangıç değerini doğru değere getirmektir. Daha iyi bir tahmininiz varsa, bununla başlayın. D'leriniz sıfırdan büyük olduğu sürece bile yapabilirsiniz . D algoritmaları sadece algoritmayı başlatmak için iterasyonlarda 1 kabul edilmez.

λ^{(0)}

$\lambda^{(0)}$

λ^{(0)} = 0

$\lambda^{(0)}=0$

— olasılık

(+1) Yine de aynı sayısal çözümü verirdim.

— Dmitrij Celov

6

Olasılıkla kanıtlanmış formüle dayanan küçük Matlab kodu:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end

— Amit
kaynak

2

Yürü be!

— olasılık

Deneme girişimi, while durumunun olması gerektiğini savunur while ( abs(diff)>threshold ).

— gung - Monica'yı eski

while( abs(diff) > threshold )

- 100

$-100$

1 e^{- 16}

$1e^{-16}$