Bir LASSO modelinde

11

Lambda'mı çapraz doğrulama ile belirlediğimde, tüm katsayılar sıfır olur. Ancak literatürden bazı öngörücülerin sonuçları kesinlikle etkilemesi gerektiğine dair bazı ipuçları var. İstenildiği kadar çok azlık olması için lambda'yı keyfi olarak seçmek saçma mıdır?

Bir cox modeli için 135'ten en iyi 10'u tahmin etmek istiyorum ve ne yazık ki efekt boyutları küçük.

lasso

— Miura
kaynak

6

Veri tabanlı olmayan bilgileriniz olduğu için önceden bilgilendirici kullanmanız gerekir.

— probabilityislogic

Derinlerde bunun doğru olacağını hissediyorum, maalesef bunu yapmaya nereden başlayabileceğime dair istatistiksel yeteneklerden tamamen yoksunum.

— miura

1

İki farklı şeyi karıştırıyorsunuz: (1) Literatür size belirli öngörücüler kullanmanızı söylüyorsa, bunları tüm modellere dahil edin. (2) Bunun yerine , literatürde belirtilen spesifik olanları içerip içermediklerine bakılmaksızın, birçok yordayıcıdan belirli bir sayıyı seçmeniz gerektiğini belirten bir yorum olarak yorumluyorsunuz . Gerçekte neyi başarmaya çalıştığınızı netleştirebilir misiniz?

— whuber

4

Literatür tarafından tanımlanmış bazı değer aralığına sahip en az belirli sayıda öngörücüye sahip olmak istiyorsanız, neden saf LASSO yaklaşımını seçmelisiniz? @Probabilityislogic'in önerdiği gibi, hakkında bilgi sahibi olduğunuz değişkenler hakkında bazı bilgilendirici öncelikler kullanmalısınız. LASSO özelliklerinden bazılarını öngörücülerin geri kalanında tutmak istiyorsanız, belki de bir öncekini her bir girdi için çift üstel dağılımla kullanabilirsiniz, yani formunun yoğunluğunu kullanın

p (β_{i}) = \frac{λ}{2} exp (- λ | β_{i} |),

$p(\beta_i)=\frac{\lambda}{2}\text{exp}\left(-\lambda|\beta_i|\right),$

λ

$\lambda$

— Néstor
kaynak

3

LASSO yapmanın güzel bir yolu vardır, ancak sabit sayıda öngörücü kullanın. Efron'un makalesinde açıklanan En az açı regresyonudur (LAR veya LARS). Yinelemeli prosedür sırasında, bir dizi doğrusal model oluşturur, her yeni bir tane daha bir öngörücüye sahiptir, böylece istediğiniz sayıda öngörücüye sahip birini seçebilirsiniz.

$l_1$ $l_2$

— Alexey Zaytsev
kaynak

3

LARS ve kement yakından ilişkili olsa da, sabit sayıda belirleyici için aynı değişkenleri bile içermeyebilirler. Bir almak olabilir bir belirleyicileri istenen sayıda verir kementiyle cezası değerini, ancak hiçbiri durumda seçim benzersiz olacak! Dolayısıyla OP henüz sorunun bir parçası olan iyi tanımlanmış bir prosedür sağlamamıştır. LARS için, belirli sayıda öngörücü sağlayan ceza değerlerinin bir aralık oluşturması iyi bir faydadır, bu nedenle bir uç nokta (hangisi?) Veya orta nokta veya başka bir kriter seçmek biraz daha kolaydır.

— kardinal

1

Evet, LARS ve LASSO'nun aynı olmadığı doğrudur, ancak LARS tabanlı teknik kullanılarak LASSO çözümleri elde etmek için orijinal makalede yazarlar tarafından önerilen LARS'ta basit bir değişiklik yapılabilir.

— Alexey Zaytsev

Evet, Alexey, bu doğru. Sanırım benim yorumum neden LARS'a geçmemiz gerektiğine dair. Genellikle, kement için istenen sayıda öngörü sağlayan ceza parametresinin değerini kolayca seçebilir. İlgisiz bırakılan ana nokta, bir kişinin nasıl eşsiz bir seçim yapması gerektiği ve OP'nin durumunda olabilecek sonuçların nasıl olması gerektiğidir . :)

— kardinal

2

$\left| S^* \right| = \left| \left\{ j : \beta^*_j \neq 0 \right\} \right|$ $\beta^*$ $|S^*|$ $2^p$ $|S^*|$ ${p \choose |S^*|}$ modelleri, çok daha az.

Kement teorisi , seçilen modelin yeterince seyrek olmasını sağlamak için regülasyon parametresinin ( yeterince büyük olmasına dayanmaktadır . 10 özelliğiniz çok fazla veya çok az olabilir, çünkü üzerindeki bir alt sınırı bir üst sınırına dönüştürmek önemsiz değildir. $\lambda$ $\lambda$ $|S^*|$

Let için veri tabanlı tahmin olarak ve koyun . O zaman, belki de en azından ilgili özellikleri kurtarmanız için dan emin olmaya çalışıyorsunuz ? Ya da belki i kurmaya çalışıyorsunuz, böylece bulduğunuz özelliklerin hepsinin değerli olduğunu biliyor musunuz? Bu durumlarda, göreli boyutları hakkında önceden bilgi sahibi olsaydınız, prosedürünüz daha haklı olacaktır . $\hat\beta$ $\beta^*$ $\hat{S} = \{j \, : \, \hat\beta_j \neq 0 \}$ $S^* \subseteq \hat{S}$ $\hat{S} \subseteq S^*$ $S^*$

Ayrıca, örneğin, kement gerçekleştirirken bazı katsayıları etkisiz bırakabilirsiniz glmnet.

— user795305
kaynak