«lasso» etiketlenmiş sorular

LASSO regresyonu katsayıları sıfıra doğru küçültür, böylece etkin model seçimi sağlar. Verilerimde nominal ve sürekli değişkenler arasında anlamlı etkileşimler olduğuna inanıyorum. Bununla birlikte, zorunlu olarak, gerçek modelin 'sıfır etkisi olmayan' ana etkileridir. Tabii ki, gerçek model bilinmediğinden bunu bilmiyorum. Hedeflerim gerçek modeli bulmak ve sonucu mümkün olduğunca yakın tahmin etmektir. …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Kement için farklı uygulama yazılımları mevcuttur . Bayes yaklaşımı ve farklı forumlarda sıkça yaklaşan yaklaşım hakkında çok şey biliyorum. Benim sorum kemente çok özgü - Baysian kementinin normal kemente göre farklılıkları ve avantajları nelerdir ? Paketteki iki uygulama örneği: # just example data set.seed(1233) X <- scale(matrix(rnorm(30),ncol=3))[,] set.seed(12333) Y <- …

24 r  machine-learning  linear-model  lasso 

Bu yüzden, L1 (yani, kement) ve L2 (yani sırt regresyonunun) merkezi önlemlerinin tahmin edildiği bir soru soruldu. Cevap, L1 = medyan ve L2 = ortalamadır. Bunun için herhangi bir sezgisel akıl yürütme var mı? Yoksa cebirsel olarak mı tespit edilmesi gerekiyor? Eğer öyleyse, bunu nasıl yapacağım?

24 lasso  regularization  loss-functions  ridge-regression 

LASSO ( L1L1L_1 ) ve Ridge ( L2L2L_2 ) gibi bazı ceza fonksiyonları ve yaklaşımları iyi incelenmiştir ve bunların regresyonda nasıl karşılaştırıldığı. ∑∥βj∥γΣ‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Wenjiang [ 1 ], olduğunda Bridge cezasını karşılaştırdı , ancak olarak verilen LASSO ve Ridge cezalarının bir birleşimi olan Elastik Net Düzenlemesi …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Daha iyi R paketleri anlamaya isteyen Larsve Glmnet: Kement sorunu çözmek için kullanılır, ( Değişkenler ve örnekleri için, bkz. www.stanford.edu/~hastie/Papers/glmnet.pdf , sayfa 3)m i n( β0β) ∈ Rp + 1[ 12 NΣi = 1N-( yben- β0- xTbenβ)2+ λ | | β||l1]mbenn(β0β)∈R,p+1[12N-Σben=1N-(yben-β0-xbenTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} \right]pppN-N-N Bu …

22 r  regression  machine-learning  lasso  regularization 

Mükemmel bir tahmin çifti bulabildiğini test etmek için R'de LASSO regresyonu ile küçük bir deney yapıyorum. Parite şöyle tanımlanır: f1 + f2 = sonuç Buradaki sonuç, 'yaş' adı verilen önceden belirlenmiş bir vektördür. F1 ve f2, yaş vektörünün yarısını alıp değerlerin geri kalanını 0'a ayarlayarak oluşturulur, örneğin: age = [1,2,3,4,5,6], …

20 r  regression  feature-selection  lasso  high-dimensional 

Hepimiz literatürde iyi belgelenmiş, LASSO optimizasyonunun (basitlik uğruna burada dikkatleri doğrusal regresyon örneğiyle sınırladığı) biliyoruz , parametrelere Laplace'dan önce verilen Gauss hataları olan doğrusal modele eşdeğerdir \ exp (- \ lambda \ | \ beta \ | _1) Ayrıca yüksek olanın ayarlama parametresini ayarladığını, \ lambda , parametrelerin büyük bölümü …

20 lasso  laplace-distribution 

İstatistiksel bir öğrenme algoritması çalıştırmadan önce özellik seçim yöntemlerini (Rastgele ormanlar önem değeri veya Tek değişkenli özellik seçim yöntemleri vb.) Kullanmayla ilgili bir sorum var. Aşırı kilo vermekten kaçındığımızı biliyoruz, ağırlık vektörleri üzerinde düzenleyici ceza verebiliriz. Eğer lineer regresyon yapmak istersem, o zaman L2 veya L1 hatta Elastik ağ regülasyon …

20 regression  machine-learning  feature-selection  lasso  regularization 

L1 cezalandırılmış regresyon (diğer adıyla kement) iki formülasyonda sunulmaktadır. İki objektif fonksiyonun O zaman iki farklı formülasyon , ve eşdeğer olarak Karush-Kuhn-Tucker (KKT) koşullarını kullanarak, ilk formülasyon için durağanlık koşulunun, ikinci formülasyonun gradyanını alıp 0'a eşit olarak ayarlamakla eşdeğer olduğunu görmek kolaydır. Ne bulamıyorum, ne de anlayamıyorum , ilk formülasyon …

20 regression  lasso  penalized 

Cezalandırılan R paketini , çok sayıda tahmin ediciye ve hangilerinin önemli olduğuna dair çok az bilgiye sahip olduğum bir veri kümesi için küçültülmüş katsayı tahminleri elde etmek için kullanıyorum. L1 ve L2 ayarlama parametrelerini seçtikten ve katsayılarımdan memnun kaldıktan sonra, modelin R-kare gibi bir şeyle özetlenmesinin istatistiksel olarak sağlam bir …

20 regression  lasso  stepwise-regression  ridge-regression 

Son zamanlarda, uygulanan ekonometri literatüründe, özellik seçim problemleri ile uğraşırken, LASSO ve ardından seçilen değişkenleri kullanarak bir OLS regresyonu gerçekleştirmenin nadir olmadığını gördüm. Böyle bir prosedürün geçerliliğini nasıl nitelendirebileceğimizi merak ediyordum. Atlanan değişkenler gibi sorunlara neden olur mu? Daha etkili olduğunu veya sonuçların daha yorumlanabilir olduğunu gösteren kanıtlar var mı? …

20 regression  feature-selection  econometrics  least-squares  lasso 

Aşağıda, r'de DV ve diğerleri ile öngörücü değişkenler olarak mtcarsayarlanmış verileri kullanan varsayılan alfa (1, dolayısıyla kement) bulunan glmnet'in çizimi verilmiştir mpg. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Ne özellikle, farklı değişkenlere ilişkin bu taslaktan sonuca varabiliriz am, cylve wt(kırmızı, siyah ve açık mavi çizgiler)? Bir rapordaki çıktıyı yayınlanması için nasıl ifade ederiz? Aşağıdakileri …

19 regression  feature-selection  lasso  glmnet 

Öngörü büzülmesi / seçimi için elastik ağ prosedürüyle gerçekten ilgileniyorum. Çok güçlü görünüyor. Ancak bilimsel açıdan, katsayıları aldıktan sonra ne yapacağımı iyi bilmiyorum. Hangi soruyu cevaplıyorum? Bunlar sonucu en çok etkileyen değişkenlerdir ve bunlar validasyon sırasında en iyi varyans / yanlılık oranını veren katsayılardır? Bu elbette klasik p değer / …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Kademeli algoritmik değişken seçim yöntemleri, regresyon modellerinde ( ve SE'leri, p -değerleri, F istatistikleri vb.) Her tahmini az veya çok eğilimli olan ve gerçek tahmin edicileri hariç tutma olasılığı yüksek olan modelleri seçme eğilimindedir oldukça olgun bir simülasyon literatürüne göre yanlış öngörücüler içerir.ββ\beta LASSO, değişkenleri seçmek için kullanıldığında aynı şekilde …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Bu kement grafiğinden (glmnet) çıkarılacak soru , kement tahmin edicisinin monotonik olmayan çözüm yollarını gösterir. Yani, bazı katsayılar küçülmeden önce mutlak değerde büyürler. Bu modelleri birkaç farklı veri setine uyguladım ve bu davranışı "vahşi doğada" hiç görmedim ve bugüne kadar her zaman monotonik olduklarını varsaymıştım . Çözelti yollarının monoton olduğu …

18 lasso  ridge-regression  elastic-net