«lasso» etiketlenmiş sorular

50.000'den fazla değişkenli bir modelde Kement veya ridge regresyon kullanmak istiyorum. Bunu R'deki yazılım paketini kullanarak yapmak istiyorum. Büzülme parametresini ( ) nasıl tahmin edebilirim ?λλ\lambda Düzenlemeler: İşte anladığım nokta: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, replace = T) X <- matrix(Xv, nrow = 1000, …

36 r  lasso  ridge-regression  high-dimensional 

İstatistiksel Öğrenmeye Giriş bölümündeki 223. Sayfada yazarlar ridge regresyonu ile kement arasındaki farkları özetlemektedir. "Kementin önyargı, varyans ve MSE açısından sırt regresyonundan daha iyi performans gösterme eğiliminde olduğu" bir örnek (Şekil 6.9). Kementin neden arzu edildiğini anlıyorum: çok sayıda katsayıyı 0'a daralttığı için basit ve yorumlanabilen modeller ile sonuçlanan seyrek …

35 machine-learning  prediction  lasso  regularization  ridge-regression 

Bu yöntemlerin dezavantajlarını çözdüğü için elastik net düzenlileştirme Lasso ve Ridge için her zaman tercih edilir mi? Sezgi nedir ve elastik ağın arkasındaki matematik nedir?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Makine öğrenmeyi öğrenen bir yazılım mühendisiyim, özellikle Andrew Ng'nin makine öğrenim kursları aracılığıyla . Düzenlemeyle doğrusal regresyon çalışırken , kafa karıştırıcı terimler buldum: L1 düzenlenmesi veya L2 düzenlenmesi ile regresyon KEMENT Ridge regresyonu Yani benim sorularım: L1 düzenlileşmesi ile yapılan regresyon, LASSO ile tamamen aynı mıdır? L2 düzenlileşmesi ile regresyon …

33 regression  terminology  lasso  regularization  ridge-regression 

Sırt, LASSO ve esnek ağ regülasyon metotları nasıl karşılaştırılır? Avantajları ve dezavantajları nelerdir? Herhangi bir iyi teknik makale veya ders notu da takdir edilecektir.

33 references  lasso  regularization  ridge-regression  elastic-net 

Kement regresyon modelleri ve parametrelerin denklemin sadece kısmen girdiği diğer düzenli modeller için AIC veya BIC değerlerini hesaplamak mümkün mü. Kişi serbestlik derecelerini nasıl belirler? Paketdeki glmnet()fonksiyona kement regresyon modellerine uyması için R kullanıyorum glmnetve bir model için AIC ve BIC değerlerinin nasıl hesaplanacağını bilmek istiyorum. Bu şekilde, değerleri normalleştirme …

31 r  model-selection  lasso  aic  bic 

Not: L1'in özellik seçimi özelliğine sahip olduğunu biliyorum. Özellik seçimi tamamen alakasız olduğunda hangisini seçeceğimi anlamaya çalışıyorum. Hangi düzenlileştirmenin (L1 veya L2) kullanılacağına nasıl karar verilir? L1 / L2 düzenlemelerinin her birinin artıları ve eksileri nelerdir? L1 ile özellik seçimi yapıp, bu seçilen değişkenlere L2 uygulayarak yapılması önerilir mi?

30 regression  lasso  regularization  ridge-regression 

LASSO (ve diğer model seçim prosedürleri) için tahmincileri yeniden düzenlemek çok önemlidir. Genel öneri ı takip sürekli değişkenler için bir 0 ortalama, 1 standart sapma normalleşmesini kullanmak için basitçe. Ama aptallarla ne ilgisi var? Örneğin , aynı (mükemmel) yaz okulundan bazı uygulamalı örnekler , muhtemelen aptallarla karşılaştırılabilir olması için sürekli …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

Kullandığım auto.arima () işlevi tahmini kovaryatların çeşitli ARMAX modellerini uyması için paketin. Bununla birlikte, sıklıkla seçim yapabileceğim çok sayıda değişkenim var ve bunlar genellikle bir alt kümesiyle çalışan son bir modelle sonuçlanır. Değişken seçim için geçici teknikleri sevmiyorum, çünkü ben insanım ve önyargılıyım, ancak zaman aşımına uğrayan zaman serileri zor …

29 r  time-series  lasso  regularization  elastic-net 

Kement sorunu kapalı formda bir çözüme sahip: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ metin {LS}} _ j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + , X ortonormal sütunlara sahipse. Bu, bu başlıkta gösterilmiştir: Kapalı formdaki …

28 regression  lasso  regularization 

LassoRegresyon gibi bir şeyden önce değişkenleri standartlaştırmanın üç ana nedenini okudum : 1) Katsayıların yorumlanabilirliği. 2) Katsayı önemini büzülme sonrası katsayı tahminlerinin göreceli büyüklüğü ile sıralama yeteneği. 3) Kesişmeye gerek yok. Ama en önemli noktayı merak ediyorum. Standardizasyonun modelin örnek genellemesinin dışına çıkacağını düşünmek için bir nedenimiz var mı? Ayrıca, …

28 normalization  lasso  standardization  regularization  shrinkage 

GAM kullandığımda, artık DF (kodun son satırı) olduğunu gösteriyor. Bu ne anlama geliyor? GAM örneğinin ötesine geçmek, Genel olarak, serbestlik derecelerinin sayısı tam sayı olmayan bir sayı olabilir mi?26,626,626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

I regresyon parametre vektör Lasso Tahmin, referans bir dizi okuma posterior moduna karşılık gelir her biri için önceden dağılımı olan (aynı zamanda Laplace dağılımı olarak da bilinir), bir çift üstel dağılımıdır.BBBBBBBiBiB_i Bunu kanıtlamaya çalışıyorum, birisi detayları çözebilir mi?

27 regression  bayesian  lasso  prior  regularization 

Bir keresinde Kement'i iki kez (bir çift kement gibi) kullanarak, orijinal değişken kümesinde kement kullandığınız bir yöntem duydum, S1 diyelim, S2 adı verilen seyrek bir küme elde ettikten sonra, K2 kümesinde S3 kümesini elde etmek için kement tekrar uygulayın. . Bunun için metodolojik bir terim var mı? Ayrıca, iki kez …

26 regression  lasso  regularization  shrinkage  lars 

Kement regresyonu için en iyi çözümün (örneğin minimum test hatası) özelliklerini varsayalım. böylece \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ sağ) .L …

26 regression  feature-selection  lasso  regularization