LASSO regresyon katsayılarının yorumu

Şu anda ~ 300 değişkenli ve 800 gözlemli bir veri kümesinde ikili sonuç için öngörücü bir model oluşturmaya çalışıyorum. Bu sitede adım adım gerileme ile ilgili sorunlar ve neden kullanmama hakkında çok şey okudum.

LASSO regresyonunu ve özellik seçimi yeteneğini okudum ve "düzeltme" paketi ve "glmnet" kullanarak bunu uygulayabildim.

Model katsayısını optimum lambdave alpha"düzeltme" ile çıkarabiliyorum; ancak katsayıları nasıl yorumlayacağımı bilmiyorum.

LASSO katsayıları lojistik regresyon ile aynı yöntemle mi yorumlanıyor?
LASSO'dan seçilen özelliklerin lojistik regresyonda kullanılması uygun olur mu?

DÜZENLE

Diğer tüm katsayıları sabit tutarken, katsayı 1 birim değişim için log oranları olarak LASSO regresyonundan alınan katsayılarda olduğu gibi katsayıların yorumlanması.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

— Michael Luu
kaynak

"Lojistik regresyon ile aynı şekilde yorumlandığında" ile kastettiğiniz şeyi biraz doldurabilir misiniz? Hangi yorumları genelleştirmek istediğinizi bilmek çok yararlı olur.

— Matthew Drury

@Matthew Drury - Derslerim LASSO'nun üzerinden geçmediği için bana yardım etmek için zaman ayırdığınız için çok teşekkür ederim. Genel olarak, lisansüstü derslerim sırasında bana öğretilenlerden, lojistik regresyondan alınan katsayılar, diğer tüm katsayıları sabit tutarken, katsayıda 1 birim artışın günlük oranlarını verir.

— Michael Luu

α

$\alpha$

λ

$\lambda$

α

$\alpha$

Anlayabildiğim kadarıyla, çoğu LASSO uygulamasında katsayılar için önem testi yapılmamıştır. Öyleyse bir fark OLS'de istatistiksel olarak anlamlı değişkenleri belirleyebilsek de, seçilen karşılık gelen değişkenlerin LASSO katsayılarının dikkate alınması gereken "önemli" değişkenler olduğunu daha zayıf bir ifade yapmak dışında LASSO ile yapamayız?

— godspeed

LASSO katsayıları lojistik regresyon ile aynı yöntemle mi yorumlanıyor?

Yeniden ifade edeyim: LASSO katsayıları, örneğin lojistik regresyondaki ~~OLS~~ maksimum olabilirlik katsayılarıyla aynı şekilde mi yorumlanıyor ?

LASSO (cezalandırılmış bir tahmin yöntemi) , örneğin ~~OLS~~ maksimum olabilirliği (normalleştirilmemiş bir yöntem) ile aynı miktarları (model katsayıları) tahmin etmeyi amaçlamaktadır . Model aynıdır ve yorum aynıdır. LASSO'nun sayısal değerleri normalde ~~OLS~~ maksimum olasılığından farklı olacaktır : bazıları sıfıra yakın, diğerleri tam olarak sıfır olacaktır. Makul miktarda ceza uygulanmışsa, LASSO tahminleri gerçek değerlere ~~OLS~~ maksimum olabilirlik tahminlerinden daha yakın olacaktır , bu da istenen bir sonuçtur.

LASSO'dan seçilen özelliklerin lojistik regresyonda kullanılması uygun olur mu?

Bununla ilgili doğal bir sorun yoktur, ancak LASSO'yu sadece özellik seçimi için değil, aynı zamanda katsayı tahmini için de kullanabilirsiniz. Yukarıda bahsettiğim gibi, LASSO tahminleri, örneğin ~~OLS~~ maksimum olabilirlik tahminlerinden daha doğru olabilir.

— Richard Hardy
kaynak

Bu yanıt için çok teşekkür ederim! Çok mantıklı! Lütfen bu konudaki sınırlı bilgimi affedin. Başka bir yorumda belirttiğiniz gibi, en iyi lambda ve alfa seçerken, caret aracılığıyla LASSO yerine elastik ağ kullanıyor olabilirim. Aynısı katsayılar için de geçerli midir?

— Michael Luu

Evet, olurdu. Temel mantık aynı kalır.

— Richard Hardy

"Yorum aynı kalır" yazıyorsunuz. Bu noktayı anlamama yardım eder misiniz? Bana öyle geliyor ki, çoklu regresyon ortamında OLS katsayılarının yorumlanması kısmi regresyon grafiklerine dayanmaktadır . Ancak, bu özellik kement katsayıları için geçerli değildir, bu da yorumun farklı olacağına inanmamı sağlar.

— user795305

@Ben, Altta yatan bir istatistiksel model varsa, parametrelerini farklı şekillerde tahmin edebiliriz, iki popüler olan OLS ve kement. Tahmin edilen katsayılar aynı hedefleri hedefler ve her ikisinin de bir tahmin hatası vardır (bu, eğer kare ise, yanlılık ve varyansa ayrıştırılabilir), bu nedenle yorumları aynıdır. Şimdi elbette yöntemler aynı değil, bu yüzden farklı tahmini katsayı değerleri elde edersiniz. Yöntemleri ve bunların cebirsel ve geometrik yorumlarını önemsiyorsanız, bunlar aynı değildir. Ancak konu-konu yorumları aynıdır.

— Richard Hardy

(1, \dots, p)^{T}

$(1, \dots, p)^T$