«lasso» etiketlenmiş sorular

Kestirimci modeller oluştururken düzenlileşmenin yararlarını biliyorum (sapma ve varyans, aşırı takmayı önleme). Ancak, regresyon modelinin temel amacı katsayılara çıkarım olduğunda (hangi öngörücülerin istatistiksel olarak anlamlı olduğunu görmek) düzenlileştirme (kement, sırt, elastik ağ) yapmanın iyi bir fikir olup olmadığını merak ediyorum. İnsanların düşüncelerini ve bununla ilgili akademik dergilere veya akademik olmayan …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

LASSO regresyon senaryosunda, y= Xβ+ ϵy=Xβ+εy= X \beta + \epsilon , ve LASSO tahminleri aşağıdaki optimizasyon problemiyle verilir minβ| | y- Xβ| | +τ| | β| |1minβ||y-Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 \ Epsilon ile ilgili herhangi bir dağıtım varsayımı var εε\epsilonmı? Bir OLS senaryosunda, bağımsız ve normal …

18 regression  lasso  assumptions  residuals 

Bir dizi 150 özelliğim var ve bunların birçoğu birbiriyle yüksek derecede korelasyonlu. Amacım aralığı 1-8 olan ayrık bir değişkenin değerini tahmin etmektir . Örneklem boyutum 550 ve 10 kat çapraz doğrulama kullanıyorum. AFAIK, düzenlileştirme yöntemleri (Kement, Elastik Ağ ve Sırt) arasında Ridge, özellikler arasındaki korelasyon için daha titizdir. Bu yüzden …

18 regression  lasso  regularization  ridge-regression  elastic-net 

LASSO ve sırt gibi cezalandırılmış regresyon tahmin edicilerinin, belirli öncelikleri olan Bayesci tahmin edicilere karşılık geldiği söylenir. Sanırım (Bayes istatistikleri hakkında yeterince bilgim yok), sabit bir ayar parametresi için önceden karşılık gelen bir beton var. Şimdi bir frekansçı ayar parametresini çapraz doğrulamayla optimize edecektir. Bunu yapmanın bir Bayesian eşdeğeri var …

17 bayesian  lasso  ridge-regression 

Bazı kategorik değişken öngörücülere ve bazı sürekli olanlara sahip bir LASSO kullanıyorum. Kategorik değişkenler hakkında bir sorum var. Anladığım ilk adım, her birini aptallara bölmek, adil cezalandırma için standartlaştırmak ve sonra gerilemek. Kukla değişkenleri tedavi etmek için çeşitli seçenekler ortaya çıkar: Her bir faktör için mankenlerden biri hariç hepsini dahil …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Sürekli bağımlı y değişkeni ve sıra değişkeni X 1 dahil bağımsız değişkenler göz önüne alındığında , doğrusal bir modeli nasıl yerleştirebilirim R? Bu tür model hakkında makaleler var mı?

17 r  regression  lasso  ordinal-data  predictor 

Göreceli olarak düşük boyutlu bir ortamda (n >> p) özellik seçimi için Kement kullanıyorum. Bir Kement modelini taktıktan sonra, sıfır olmayan katsayıları olan değişkenleri, cezasız bir modele uyacak şekilde kullanmak istiyorum. Bunu yapıyorum çünkü Lasso'nun bana veremeyeceği tarafsız tahminler istiyorum. Ayrıca tarafsız tahmin için p-değerleri ve güven aralıkları istiyorum. Bu …

17 regression  feature-selection  lasso  unbiased-estimator 

LASSO regresyonunu açıklarken, genellikle bir elmas ve dairenin diyagramı kullanılır. LASSO'daki kısıtlamanın şekli bir elmas olduğu için, elde edilen en küçük kareler çözeltisinin, bazı değişkenlerin büzülmesine yol açacak şekilde elmasın köşesine dokunabileceği söylenir. Bununla birlikte, sırt regresyonunda, bir daire olduğu için, genellikle eksene dokunmaz. Neden eksene temas edemediğini veya bazı …

16 regression  lasso  ridge-regression 

Yüksek boyutlu regresyon alanındaki araştırmaları okumaya çalışıyorum; zaman ppp daha büyüktür nnn , o, bir p>>np>>np >> n . Görünüşe göre logp/nlog⁡p/n\log p/n terimi, regresyon tahmin edicileri için yakınsama oranı açısından sıkça görülmektedir. Örneğin, burada , denklem (17) der kement uyum β^β^\hat{\beta} tatmin 1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P …

16 regression  lasso  convergence  high-dimensional 

Biz veri kümesi ile başlar , buna Lasso uygulanır ve bir çözelti elde etmek β L , Veri kümesi için tekrar Lasso uygulayabilir ( X S , Y ) , S sıfır olmayan kümesidir indeksleri β L , bir çözüm elde etmek için β R L olarak adlandırılan 'rahat Kement' …

16 regression  optimization  lasso  regularization  shrinkage 

Kement veya sırt regresyonunda, kişi genellikle veya α olarak adlandırılan bir büzülme parametresi belirtmelidir . Bu değer, genellikle en iyi, örneğin verir eğitim verileri ve görme farklı değerlerin bir grup kontrol çapraz doğrulama yoluyla seçilir R 2 test verileri ile. Kişinin kontrol etmesi gereken değer aralığı nedir? Öyle mi ( …

16 regression  lasso  regularization  ridge-regression  penalized 

Bazı regülasyonlarla doğrusal regresyon düşünün: Örn , küçülten Bul | | A x - b | | 2 + λ | | x | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Genellikle A sütunları sıfır ortalama ve birim normlara sahip olacak şekilde standartlaştırılırken, sıfır ortalamaya sahip olacak şekilde ortalanır. Standartlaşma ve merkezleme nedenine …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Bu yazının üst kısmına bakarsanız, yazar L2 normunun benzersiz bir çözüme sahip olduğunu ve L1 normunun muhtemelen birçok çözüme sahip olduğunu belirtir. Bunu normalleştirme açısından anlıyorum, ancak kayıp fonksiyonunda L1 normunu veya L2 normunu kullanma açısından değil. Skaler x (x ^ 2 ve | x |) işlevlerinin grafiklerine bakarsanız, …

16 regression  lasso  regularization 

Doğrusal regresyon modellerinde LASSO, sırt ve elastik-net regülasyonun farkındayım. Soru: Bu (veya benzeri) cezalandırılmış bir tahmin ARIMA modellemesine (boş MA parçası olmadan) uygulanabilir mi? ARIMA modellerini oluştururken, önceden seçilmiş bir maksimum gecikme sırasını ( , ) düşünün ve ardından bazı en uygun siparişi seçin ve q \ leqslant q_ {max} …

15 time-series  arima  lasso  regularization  ridge-regression 

Ben gitmek için olup olmadığını görmek çalışıyorum sırt regresyon , kement , temel bileşenler regresyon (PCR) veya Kısmi En Küçük Kareler değişkenler / özellikler (çok sayıda olduğu yerde bir durumda (PLS) ppp ) ve numunelerin daha az sayıda ( ) ve hedefim tahmin.n<pn<pn n , çoğu zaman p>10np>10np>10n ; Değişkenler …

15 regression  pca  lasso  ridge-regression  partial-least-squares