«lasso» etiketlenmiş sorular

Ben yeniyim glmnetpaketin ve ben sonuçların nasıl yorumlanacağı hala emin değilim. Birisi lütfen aşağıdaki izleme planını okumama yardımcı olabilir mi? Grafik aşağıdakileri çalıştırarak elde edildi: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- par(mfrow=c(1, 2)) plot(model$glmnet.fit, "norm", label=TRUE) plot(model$glmnet.fit, "lambda", …

15 r  data-visualization  interpretation  lasso  glmnet 

Merak ediyorum, LASSO ve LARS model seçim yöntemleri, temelde sadece adım adım ileri seçimin varyasyonları olsa da (bu yüzden yol bağımlılığından muzdarip) neden bu kadar popüler? Benzer şekilde, model seçimi için General to Specific (GETS) yöntemleri, adım adım regresyon probleminden muzdarip olmadıkları için neden LARS / LASSO'dan daha iyi olsalar …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

İstatistiksel öğrenmede en popüler kitapları okudum 1- İstatistiksel öğrenmenin öğeleri. 2- İstatistiksel öğrenmeye giriş . Her ikisi de sırt regresyonunun eşdeğer iki formüle sahip olduğunu belirtiyor. Bu sonucun anlaşılabilir bir matematiksel kanıtı var mı? Ben de Cross Validated geçtim, ama orada kesin bir kanıt bulamıyorum. Dahası, LASSO da aynı kanıt …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

ceza dönemi katsayısının optimum seçimine ilişkin analitik sonuçlar veya deneysel makaleler var mı ? By optimum , en iyi modeli, ya da bu en aza indirir beklenen kayıp seçilmesi olasılığını maksimize bir parametre anlamına gelir. Ben soruyorum çünkü sık sık çapraz doğrulama veya önyükleme ile parametre, ya çok sayıda örnek …

15 model-selection  lasso  shrinkage 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 3 yıl önce kapalı . Ben işlevlerle LASSO yöntemi kullanarak R lojistik regresyon inşa ediyorum cv.glmnetseçilmesi için lambdave glmnetnihai model için. Otomatik model seçimiyle ilgili …

15 r  logistic  categorical-data  lasso  glmnet 

Kement tahminini burada \ mathbb {R} ^ {n \ times p} tasarım matrisinin X \ i {{} x_i \ satırı {R} ^ p bir vektördür stokastik cevabı açıklamak için ortak değişkenler y_i ( i = 1, \ dots n için ).β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 …

14 lasso  regularization 

Aşağıdaki işlemi kullanarak rastgele bir orman oluşturmak istiyorum: Bölmeleri belirlemek için bilgi kazancı kullanarak rastgele veri ve özellik örnekleri üzerinde bir ağaç oluşturun Bir yaprak düğümünü önceden tanımlanmış bir derinliği aşarsa YA DA herhangi bir ayrım, önceden tanımlanmış minimum değerden daha az bir yaprak sayısıyla sonuçlanır Her ağaç için bir …

14 classification  random-forest  lasso  ensemble 

Genel anlayışım AIC , modelin uyum iyiliği ile modelin karmaşıklığı arasındaki dengeyi ele alıyor. AIC=2k−2ln(L)AIC=2k−2ln(L)AIC =2k -2ln(L) = modeldeki parametre sayısıkkk = olabilirlikLLL Bayes bilgi kriteri BIC , AIC ile yakından ilişkilidir.AIC, parametre sayısını BIC'den daha az cezalandırır. Bu ikisinin tarihsel olarak her yerde kullanıldığını görebiliyorum. Ancak genelleştirilmiş çapraz doğrulama …

14 cross-validation  lasso  aic  ridge-regression  bic 

Satır veya sütun sayısı arttıkça Kement regresyonunun asimptotik zaman karmaşıklığı nedir?

14 lasso  time-complexity 

Bayesian Kement açıklayan birkaç matematik ağır kağıt vardır, ama ben test etmek istiyorum, ben kullanabileceğiniz doğru JAGS kodunu istiyorum. Birisi düzenli lojistik regresyonu uygulayan örnek BUGS / JAGS kodu gönderebilir mi? Herhangi bir şema (L1, L2, Elastik ağ) harika olurdu, ancak Kement tercih edilir. Ayrıca ilginç alternatif uygulama stratejileri olup …

14 bayesian  logistic  lasso  jags  regularization 

İstatistiksel öğrenme kitabının Unsurları'nda en iyi altküme seçimini okuyorum. 3 tahmin edicim , 2 3 = 8 altkümesi oluştururum:x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 Tahmini olmayan alt küme öngörücü ile alt küme x1x1x_1 öngörücülü alt küme x2x2x_2 öngörücülü alt küme x3x3x_3 öngörücülü alt küme x1,x2x1,x2x_1,x_2 öngörücülü alt küme x1,x3x1,x3x_1,x_3 öngörücülü alt küme x2,x3x2,x3x_2,x_3 öngörücülü alt …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

Sorunumuz\newcommand{\diag}{\operatorname{diag}} var: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), şu varsayımla: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Bu durumda kapalı bir çözüm var mı? Ben var: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), ve bu yüzden cevap olduğunu düşünüyorum : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, için yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , ancak emin değilim.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Elastik ağ için motivasyonlardan biri LASSO'nun aşağıdaki sınırlamasıydı: Gelen durumda, çünkü dışbükey optimizasyon problemine doğasının kement en fazla seçer n değişkenler ondan önce doymuş bileşikler,. Bu, değişken seçim yöntemi için sınırlayıcı bir özellik gibi görünmektedir. Ayrıca, katsayıların L1-normuna bağlı belirli bir değerden daha küçük olmadığı sürece, kement iyi tanımlanmamıştır.p>np>np > …

13 regression  optimization  feature-selection  lasso 

İstatistiksel Öğrenme Unsurları'ndaki Tablo 18.1, 14 sınıflı bir veri seti üzerindeki çeşitli sınıflandırıcıların performansını özetler. Bu tür çok sınıflı sınıflandırma problemleri için yeni bir algoritmayı kement ve elastik ağ ile karşılaştırıyorum. glmnetSürüm 1.5.3'ü (R 2.13.0) kullanarak , kullanılan gen sayısının 269 olduğu ve test hatasının 13 olduğu bildirildiği tabloda 7. …

13 classification  lasso  glmnet 

LASSO probleminin katsayılarını almak istiyorum | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Sorun glmnet ve lars fonksiyonlarının farklı cevaplar vermesidir. Glmnet fonksiyonu için sadece λ yerine , ama yine de farklı cevaplar alıyorum.λ / | | Y| |λ/||Y||\lambda/||Y||λλ\lambda Bu bekleniyor mu? Lars arasındaki ilişki nedir ve …

13 r  machine-learning  regression  lasso  regularization