R - Kement Regresyonu - regresör başına farklı Lambda

Aşağıdakileri yapmak istiyorum:

1) beta katsayılarını elde etmek için OLS regresyonu ( süresi yoktur) ; regresyon için kullanılan değişkenleri ifade eder. Bunu tarafından yapıyorum $b_{j}^{*}$ $j$

lm.model = lm(y~ 0 + x)
betas    = coefficients(lm.model)

2) Kriminal regresyon ceza süresi ile, seçim kriterleri tarafından verilen Bayes Bilgi Kriterleri (BIC) olacaktır.

λ_{j} = \frac{günlük (T)}{T | b_{j}^{*} |}

$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

burada değişken / sayısını, gözlem sayısı için ve 1. adımda elde edilen ilk betalar için eder). Kullanılan her için farklı olan bu belirli değeri için regresyon sonuçlarına sahip olmak istiyorum . Bu nedenle üç değişken varsa, üç farklı değer olacaktır . $j$ $T$ $b_{j}^{*}$ $\lambda_j$ $\lambda_j$

OLS-Lasso optimizasyon problemi daha sonra

\underset{b ε {R,}^{n}}{m ben n} = {Σ_{t = 1}^{T} (y_{t} - b^{⊤} X_{t})^{2} + T Σ_{j = 1}^{m} (λ_{t} | b_{j} |)}

$\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + T\sum_{j=1}^{m} ( \lambda_{t}|b_{j}| )\right \}$

Bunu lar'da veya glmnet paketiyle R'de nasıl yapabilirim? Lambda'yı belirtmenin bir yolunu bulamıyorum ve çalıştırdığımda doğru sonuçları alıp almadığımdan% 100 emin değilim

lars.model <- lars(x,y,type = "lasso", intercept = FALSE)
predict.lars(lars.model, type="coefficients", mode="lambda")

Burada herhangi bir yardım için teşekkür ederim.

Güncelleme:

Şimdi aşağıdaki kodu kullandım:

fits.cv = cv.glmnet(x,y,type="mse",penalty.factor = pnlty)
lmin    = as.numeric(fits.cv[9]) #lambda.min
fits    = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty)
coef    = coef(fits, s = lmin)

1. satırda , her bir regresör için farklı olan, belirtilen ceza faktörü ( ) ile çapraz doğrulamayı kullanıyorum. . Satır 2, minimum ortalama çapraz doğrulama hatası veren lambda olan fits.cv dosyasının "lambda.min" dosyasını seçer. Satır 3 , veriler üzerinde bir kement yerleşimi ( ) gerçekleştirir. Yine ceza faktörü . Satır 4 , satır 2'de seçilen "optimal" ait uyumlardan katsayıları çıkarır . $\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$ alpha=1 $\lambda$ $\lambda$

Şimdi minimizasyon probleminin optimal çözümünü gösteren regresörler için beta katsayılarım var

\underset{b ε {R,}^{n}}{m ben n} = {Σ_{t = 1}^{T} (y_{t} - b^{⊤} X_{t})^{2} + T Σ_{j = 1}^{m} (λ_{t} | b_{j} |)}

$\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + T\sum_{j=1}^{m} ( \lambda_{t}|b_{j}| )\right \}$

bir ceza faktörü ile . Optimal katsayı kümesi büyük olasılıkla başlangıçta kullandığım regresörlerin bir alt kümesidir, bu, kullanılan regresörlerin sayısını azaltan Kement yönteminin bir sonucudur. $\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

Anlayışım ve kodum doğru mu?

r regression glmnet lars

— Dom
kaynak

Postanızda dolar işareti bulunan LATEX işaretlemesini kullanabilirsiniz.

$\alpha$ olur . Lütfen bunu yapın, çünkü insanlar sorunuzu daha kolay anlayabilecek ve bu nedenle cevaplayacaktır.

α

$\alpha$

— Sycorax, Reinstate Monica'ya

Gönderen glmnetbelgelerinde ( ?glmnet), bunu diferansiyel büzülme gerçekleştirmek mümkün olduğunu görüyoruz. Bu, OP'nin sorusunu en azından kısmen cevaplamamızı sağlıyor.

penalty.factor: Her katsayıya ayrı ceza faktörleri uygulanabilir. Bu, lambdadiferansiyel büzülmeye izin vermek için çoğalan bir sayıdır . Büzülme anlamına gelmeyen bazı değişkenler için 0 olabilir ve bu değişken her zaman modele dahil edilir. Varsayılan, tüm değişkenler için 1'dir (ve içinde listelenen değişkenler için örtük olarak sonsuzdur exclude). Not: Ceza faktörleri dahili olarak toplanmak üzere yeniden düzenlenir nvarsve lambdasıralama bu değişikliği yansıtacaktır.

Ancak soruyu tam olarak cevaplamak için, neyi başarmak istediğinize bağlı olarak kullanabileceğiniz iki yaklaşım olduğunu düşünüyorum.

Sorunuz içinde küçülen diferansiyeli nasıl uygulanacağını olan glmnetve belirli bir değer için katsayılarını almak . Supplying st bazı değerler herhangi değerde değil 1 gerçekleştirir bu diferansiyel büzülme vardır . Çekme st her biri için çekme elde etmek için olan $\lambda$ penalty.factor $\lambda$ $b_j$ Biraz cebir yapmalıyız. Letcezası faktörbeslenebilir durumda ne. Dokümantasyonda, bu değerlerin stfaktörü ile yeniden ölçeklendiğini görebiliriz. $\phi_j= \frac{\log T}{T|b_j^*|}$ $\phi_j$ $b_j$ penalty.factor $C\phi_j=\phi^\prime_j$ . Bu, aşağıdaki optimizasyon ifadesindeyerineanlamına gelir. Yani için çözmek, değerlerin kaynağı için, ve sonra için katsayılarını ayıklamak. Kullanmanızı tavsiye ederim. $m=C\sum_{j=1}^m \frac{\log T}{T|b^*_j|}$ $\phi_j^\prime$ $\phi_j$ $C$ $\phi_j^\prime$ glmnet $\lambda=1$ coef(model, s=1, exact=T)
İkinci kullanım için, "standart" bir şekilde glmnet: Bir gerçekleştirir tekrar seçmek için kat çapraz doğrulama Eğer dışı örneği en aza indirmek, böylece MSE. Aşağıda daha ayrıntılı olarak açıkladığım budur. CV kullanmamızın ve örnek dışı MSE'yi kontrol etmemizin nedeni , örnek içi MSE'nin için her zaman en aza indirilmesidir , yani sıradan bir MLE'dir. Değişken kullanırken CV kullanmak , modelin örnek dışı veriler üzerinde nasıl performans gösterdiğini tahmin etmemizi ve optimal olan (belirli bir anlamda) bir seçmemizi sağlar . $k$ $\lambda$ $\lambda=0$ $b$ $\lambda$ $\lambda$

glmnet $\lambda$ $\lambda$ coef(fits,s=something) $\lambda$ something $\lambda$

$\lambda$ cv.glmnetglmnetpenalty.factor

Bu prosedür optimize eder

min_{b \in {R,}^{m}} Σ_{t = 1}^{T} (y_{t} - b^{⊤} X_{t})^{2} + λ Σ_{j = 1}^{m} (φ_{j} | b_{j} |)

$\underset{b\in \mathbb{R}^{m} }{\min} \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + \lambda \sum_{j=1}^{m} ( \phi_{j}|b_{j}| )$

$\phi_j$ $j^{th}$ penalty.factor $\lambda$ $\phi_j$ $\lambda$ $\phi$ $\lambda$ $\phi$ $\lambda$ $b$ $\lambda$

Bu temelde glmnetanladığım kadarıyla motivasyon : örnek dışı performansı konusunda aşırı iyimser olmayan bir regresyon modelini tahmin etmek için cezalandırılmış regresyon kullanmak. Bu sizin hedefinizse, belki de bu sizin için doğru yöntemdir.

— Sycorax: Monica'yı eski durumuna getirdi
kaynak

+1 Bu doğrudur. Ayrıca regresyonun düzenli hale getirilmesinin bir bayesci olarak görülebileceğini de ekleyeceğim, yani maksimum bir posteriori (MAP) düzenli olarak maksimum benzerliktir (ML). Bu çerçevede çalışmak gerektiğinde kendini düzenlileştirme konusunda daha fazla esneklik sağlar.

— TLJ

Eğer pnlty = log(24)/(24*betas); fits = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty) koşarsam, lambda her risk faktörü için farklı olduğundan, belirttiğim lambdaya karşılık gelen regresör betalarını nasıl çıkarırım?

— Dom

@Dom Tam olarak kullanmak istediğinizi elde etmenin bariz bir yolu olduğu için biraz geç kaldım glmnet. Gözden geçirilmiş cevabımı görün.

— Sycorax, Reinstate Monica'yı

Her bir öngörücü için cezayı ayrı ayrı özelleştirmeye dikkat edin. Bu, bazı durumlarda kademeli değişken seçiminden başka bir şey değildir. Cezalandırılmış regresyon, çok sınırlı sayıda ceza parametresi ve tahmin ediciler arasında bilgi ödünç alarak ortalama kare hatasını azaltır.

— Frank Harrell

@FrankHarrell Yorum için teşekkürler! Her bir öngörücüye farklı cezalar kullanmak, her parametre için farklı bir öngörüde bulunan bir Bayes modeline denk geliyor. Bu beni genel olarak Bayesci çıkarımda benzersiz bir tehlike olarak göstermiyor. Ayrıca, cezalandırılmış regresyonun tahmin ediciler arasında nasıl bilgi ödünç aldığını açıklayabilir misiniz? Böyle bir senaryoda durumun tam olarak nasıl anlaşıldığımdan emin değilim.

— Sycorax, Reinstate Monica'yı