«regularization» etiketlenmiş sorular

GAM kullandığımda, artık DF (kodun son satırı) olduğunu gösteriyor. Bu ne anlama geliyor? GAM örneğinin ötesine geçmek, Genel olarak, serbestlik derecelerinin sayısı tam sayı olmayan bir sayı olabilir mi?26,626,626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Öğrencilerime kavramları tanıtırken, sık sık terminolojinin nereden geldiğini söylemekten zevk alırım (örneğin, "gerileme", ilginç bir kökene sahip bir terimdir). İstatistiksel / makina öğreniminde "normalleşme" teriminin geçmişini / geçmişini belirleyemedim. Yani, terim kökeni nedir regularization ?

27 terminology  regularization  history  tikhonov-regularization 

I regresyon parametre vektör Lasso Tahmin, referans bir dizi okuma posterior moduna karşılık gelir her biri için önceden dağılımı olan (aynı zamanda Laplace dağılımı olarak da bilinir), bir çift üstel dağılımıdır.BBBBBBBiBiB_i Bunu kanıtlamaya çalışıyorum, birisi detayları çözebilir mi?

27 regression  bayesian  lasso  prior  regularization 

Andrew Ng'nin Makine Öğrenimi kursunu bir yıl kadar önce tamamladım ve şimdi Lise Matematik araştırmamı Lojistik Regresyon çalışmalarına ve performansı optimize etmek için kullandığım tekniklere yazıyorum. Bu tekniklerden biri elbette düzenlileşmedir. Düzenlemenin amacı, maliyet fonksiyonunu model basitliği hedefini içerecek şekilde genişleterek fazladan takmayı önlemektir. Bunu, bazı düzenlileştirme paramaterleriyle çarpılan her …

27 regression  machine-learning  optimization  regularization  overfitting 

Bir keresinde Kement'i iki kez (bir çift kement gibi) kullanarak, orijinal değişken kümesinde kement kullandığınız bir yöntem duydum, S1 diyelim, S2 adı verilen seyrek bir küme elde ettikten sonra, K2 kümesinde S3 kümesini elde etmek için kement tekrar uygulayın. . Bunun için metodolojik bir terim var mı? Ayrıca, iki kez …

26 regression  lasso  regularization  shrinkage  lars 

Kement regresyonu için en iyi çözümün (örneğin minimum test hatası) özelliklerini varsayalım. böylece \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lasso}, 0, ... 0 \ sağ) .L …

26 regression  feature-selection  lasso  regularization 

Örneğin bir Bayes sınıflandırıcısı aracılığıyla denetimli bir istatistiksel sınıflandırma görevi için bir veri setine sahip olduğumu varsayalım. Bu veri seti 20 özellikten oluşuyor ve Temel Bileşen Analizi (PCA) ve / veya Doğrusal Ayrımcı Analizi (LDA) gibi boyutsallık azaltma teknikleri ile onu 2 özelliğe çıkarmak istiyorum. Her iki teknik de verileri …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Diyelim ki bir regresyon . Neden üst seçerek ilkesi bileşenleri , model üzerindeki öngörü gücünü korumak mu ?Y∼XY∼XY \sim XkkkXXXYYY Ben boyutluluk-azaltma / görüş özellikli seçme noktasında, eğer gelen anlıyoruz kovaryans matrisinin öz vektörleri olduğundan üst ile özdeğerler, ardından üst olan ana bileşenler maksimum varyans ile. Böylece, özelliklerin sayısını azaltabilir …

25 regression  classification  pca  dimensionality-reduction  regularization 

En küçük kareler bağlamında sırt cezası ile ilgili birkaç sorum var: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) İfade, X'in kovaryans matrisinin köşegen bir matrise doğru küçüldüğünü, yani (değişkenlerin işlemden önce standartlaştırıldığı varsayılarak) girdi değişkenleri arasındaki korelasyonun azaltılacağını önermektedir. Bu yorum doğru mu? 2) Eğer büzülme uygulamasıysa neden satırlarına formüle …

25 regression  pca  regularization  ridge-regression 

Bu yüzden, L1 (yani, kement) ve L2 (yani sırt regresyonunun) merkezi önlemlerinin tahmin edildiği bir soru soruldu. Cevap, L1 = medyan ve L2 = ortalamadır. Bunun için herhangi bir sezgisel akıl yürütme var mı? Yoksa cebirsel olarak mı tespit edilmesi gerekiyor? Eğer öyleyse, bunu nasıl yapacağım?

24 lasso  regularization  loss-functions  ridge-regression 

Lamda'nın esnek-net bir regresyonda oynadığı rolü anlıyorum. Ve neden lambda.min'i seçtiğini anlayabiliyorum, çapraz doğrulanmış hatayı en aza indiren lambda'nın değeri. Benim sorum şudur : İstatistik literatüründe lambda.1se kullanımı tavsiye edilir, yani CV hatasını artı bir standart hatayı en aza indiren lambda değeri nedir? Resmi bir alıntı ya da bunun genellikle …

24 regression  cross-validation  regularization  glmnet  elastic-net 

LASSO ( L1L1L_1 ) ve Ridge ( L2L2L_2 ) gibi bazı ceza fonksiyonları ve yaklaşımları iyi incelenmiştir ve bunların regresyonda nasıl karşılaştırıldığı. ∑∥βj∥γΣ‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Wenjiang [ 1 ], olduğunda Bridge cezasını karşılaştırdı , ancak olarak verilen LASSO ve Ridge cezalarının bir birleşimi olan Elastik Net Düzenlemesi …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Düzenlemeyle ilgili literatürü inceliyordum ve çoğunlukla L2 düzenlemesini Gaussian'la bağlayan, L1'i de sıfır merkezli olan L1'i bağlayan paragrafları görüyordum. Bu önceliklerin nasıl göründüğünü biliyorum, ama örneğin doğrusal modeldeki ağırlıklar ile nasıl ilişkili olduğunu anlamıyorum. L1'de, doğru anlarsam, seyrek çözümler bekleriz, yani bazı ağırlıklar tam olarak sıfıra itilir. Ve L2'de küçük …

22 regression  bayesian  prior  regularization  laplace-distribution 

İstatistiksel Öğrenmenin Öğelerini okuyordum ve 3.7. Bölümün "Çoklu sonuç küçültmesi ve seçimi" nin ne anlama geldiğini anlayamadım. RRR (azaltılmış dereceli regresyon) hakkında konuşuyor ve ben sadece öncülün katsayıların bilinmediği (ve tahmin edileceği) fakat tam dereceye sahip olmadığı bilinen bir genel değişkenli doğrusal model hakkında olduğunu anlayabiliyorum. Anladığım tek şey bu. …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

Daha iyi R paketleri anlamaya isteyen Larsve Glmnet: Kement sorunu çözmek için kullanılır, ( Değişkenler ve örnekleri için, bkz. www.stanford.edu/~hastie/Papers/glmnet.pdf , sayfa 3)m i n( β0β) ∈ Rp + 1[ 12 NΣi = 1N-( yben- β0- xTbenβ)2+ λ | | β||l1]mbenn(β0β)∈R,p+1[12N-Σben=1N-(yben-β0-xbenTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} \right]pppN-N-N Bu …

22 r  regression  machine-learning  lasso  regularization