«lasso» etiketlenmiş sorular

L1 düzenli lineer regresyonu takmak için koordinat inişine karşı LARS [1] kullanmanın avantajları ve dezavantajları nelerdir? Ben esas olarak performans yönleriyle ilgileniyorum (sorunlarım Nyüzbinlerce ve p<20'de olma eğilimindedir ). Ancak, diğer görüşler de takdir edilecektir. edit: Soruyu gönderdiğimden beri, chl, Friedman ve arkadaşları tarafından koordinat inişinin diğer yöntemlerden önemli ölçüde …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Grup kementinin bir değişken grubunda değişken seçimi ve seyrekliği için kullanıldığını okudum. Bu iddianın ardındaki sezgiyi bilmek istiyorum. Kement grubu neden kemente tercih edilir? Grup kement çözüm yolu neden parça parça doğrusal değil?

13 regression  feature-selection  lasso  regularization 

Kullanabileceğim bir açık kaynak veya mevcut bir kütüphane arıyorum. Söylediğim gibi glmnet paketi negatif olmayan kasayı kapsayacak şekilde kolayca genişletilebilir değil. Yanılıyor olabilirim, herhangi bir fikri olan herkes çok takdir. Negatif olmayan bir ifadeyle, tüm katsayıların pozitif olarak kısıtlandığı anlamına gelir (> 0).

13 r  lasso 

Aşağıdaki kod ile R 'lars' paketini kullanıyorum: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <- …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Sırt regresyonu ve LASSO'nun artıları ve eksileri hakkında zaten bir fikrim var. LASSO için, L1 ceza süresi, bir özellik seçim yöntemi olarak görülebilen seyrek bir katsayı vektörü verecektir. Bununla birlikte, LASSO için bazı sınırlamalar vardır. Özelliklerin yüksek korelasyonu varsa, LASSO bunlardan sadece birini seçecektir. Ek olarak, > n olan problemler …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Zou ve diğ. "Kementin" serbestlik dereceleri " (2007), sıfır olmayan katsayıların sayısının, kementin serbestlik dereceleri için tarafsız ve tutarlı bir tahmin olduğunu göstermektedir. Bana biraz mantıksız geliyor. Bir regresyon modelimiz olduğunu varsayalım (değişkenlerin sıfır ortalaması olduğu yerlerde) y=βx+ε.y=βx+ε.y=\beta x + \varepsilon. değerinin sınırsız OLS tahmini olduğunu varsayalım . Çok düşük …

12 regression  lasso  degrees-of-freedom  shrinkage 

Kement üretmek için Lars algoritmasının nasıl değiştirilebileceğini anlamaya çalışıyorum. LARS'ı anlasam da Tibshirani ve ark. Tarafından Lasso modifikasyonunu gazeteden göremiyorum. Özellikle, sıfır olmayan koordinat işaretinin mevcut korelasyonun işareti ile neden uyum sağlaması gerektiğine dair işaret koşulunu anlamıyorum. Birisi bana bu konuda yardımcı olabilir mi? Ben orijinal L-1 norm problemi yani …

12 lasso 

L1 (kement) için koordinat inişi ve / veya lineer regresyon problemleri için elastik ağ düzenlenmesi ile ilgili iyi makaleler veya kitaplar var mı?

12 regression  references  lasso  regularization  elastic-net 

Çok büyük bir veri kümesine L1-düzenli doğrusal regresyon uyguluyorum (n >> s.) Değişkenler önceden biliniyor, ancak gözlemler küçük parçalar halinde geliyor. Her bir parçadan sonra kement uyumunu korumak istiyorum. Her yeni gözlem setini gördükten sonra tüm modeli yeniden sığdırabilirim. Bununla birlikte, çok fazla veri olduğu için bu oldukça verimsiz olacaktır. …

12 regression  lasso 

IRLS algoritmasını kullanarak bir lojistik regresyon programladım . Doğru özellikleri otomatik olarak seçmek için bir LASSO cezası uygulamak istiyorum . Her yinelemede aşağıdakiler çözülür: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Let negatif olmayan reel sayı. The Elements bölümünde önerildiği gibi kesmeyi cezalandırmıyorum . İstatistiksel Öğrenme . Zaten sıfır katsayıları için aynen. Aksi takdirde, sağ …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Referanslarına göre Kitap 1 , Kitap 2 ve kağıt . Düzenli regresyon (Ridge, LASSO ve Elastik Ağ) ile bunların kısıtlayıcı formülleri arasında bir denklik olduğu belirtilmiştir. Ayrıca Çapraz Doğrulanmış 1 ve Çapraz Doğrulanmış 2'ye de baktım , ancak denklik veya mantığı gösteren net bir cevap göremiyorum. Sorum şu Karush – …

12 regression  optimization  lasso  ridge-regression  elastic-net 

Birçok yerde R Squared'ın LASSO kullanarak bir model uygun olduğunda ideal bir ölçü olmadığını okudum. Ancak bunun tam olarak neden olduğu konusunda net değilim . Ayrıca, en iyi alternatifi önerebilir misiniz?

12 regression  lasso  r-squared  penalized 

Sıkıştırılmış algılama olarak, bir teoremi garantisi yoktur argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc benzersiz seyrek çözelti sahip ccc (daha fazla ayrıntı için ek). Kement için benzer bir teorem var mı? Böyle bir teorem varsa, sadece kementin stabilitesini garanti etmekle kalmaz, aynı zamanda …

12 regression  self-study  feature-selection  lasso  regularization 

Şu anda ~ 300 değişkenli ve 800 gözlemli bir veri kümesinde ikili sonuç için öngörücü bir model oluşturmaya çalışıyorum. Bu sitede adım adım gerileme ile ilgili sorunlar ve neden kullanmama hakkında çok şey okudum. LASSO regresyonunu ve özellik seçimi yeteneğini okudum ve "düzeltme" paketi ve "glmnet" kullanarak bunu uygulayabildim. Model …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

Bu arada LASSO (en az mutlak büzülme ve seçim operatörü) okuyorum . Düzenleme parametresi için en uygun değerin çapraz doğrulama ile seçilebildiğini görüyorum. Ben de sırt regresyonunda ve regülasyonu uygulayan birçok yöntemde görüyorum, optimal regülasyon parametresini (ceza söyleyerek) bulmak için CV'yi kullanabiliriz. Şimdi sorum parametrenin üst ve alt sınırı için …

12 lasso  regularization  shrinkage