«shrinkage» etiketlenmiş sorular

Kementin teknik olmayan bir tanımını ve ne için kullanıldığını arıyorum.

81 regression  lasso  regularization  shrinkage 

Aşağıdaki üç fenomeni düşünün. Stein'ın paradoksu: çok değişkenli normal dağılımdan bazı veriler verilen Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 , örnek ortalama, gerçek ortalamanın çok iyi bir tahmincisi değildir. Örnek ortalamanın tüm koordinatlarını sıfıra doğru [veya ortalamalarına doğru ya da doğru bir şekilde anlıyorsam, aslında herhangi bir değere doğru daraltırsa], daha …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

Tatil mevsimi bana İstatistiksel Öğrenme Elemanları ile ateşin yanında kıvrılma fırsatı verdi . (Sık) bir ekonometri perspektifinden gelince, sırt regresyonu, kement ve en düşük açılı regresyon (LAR) gibi büzülme yöntemlerinin kullanımını kavramakta güçlük çekiyorum. Tipik olarak, parametrenin kendilerini tahmin etmesini ve yansızlık veya en azından tutarlılığı elde etmekle ilgilenirim. Büzülme …

61 lasso  ridge-regression  shrinkage  lars 

Ridge regresyon tahmininin, kalan kare miktarını ve büyüklüğünde bir cezayı en aza indiren olduğunu anlıyorumββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Bununla birlikte, βridgeβridge\beta_\text{ridge} 'in \ beta_ \ text {OLS}' dan farklı olduğunu, X 'X'in köşegenineβOLSβOLS\beta_\text{OLS} sadece küçük bir sabit ekleyerek anlamını tam olarak …

59 regression  least-squares  ridge-regression  shrinkage 

Model seçimindeki problemleri çözmek için, bir dizi yöntem (LASSO, ridge regresyon, vb.) Yordayıcı değişkenlerinin katsayılarını sıfıra çekecektir. Bunun neden tahmin edilebilirliği geliştirdiğine dair sezgisel bir açıklama arıyorum. Değişkenin gerçek etkisi aslında çok büyükse, neden parametreyi küçültmek daha kötü bir tahminle sonuçlanmıyor?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

İle iyi eski regresyon problemi düşünün belirleyicileri ve örnek büyüklüğü . Her zamanki bilgelik, OLS tahmincisinin fazladan donacağı ve genel olarak ridge regresyon tahmincisi tarafından daha iyi şekillendirileceğidir:Optimal düzenlileştirme parametresi bulmak için çapraz doğrulama kullanmak standarttır . Burada 10 kat CV kullanıyorum. Açıklama güncellemesi: olduğunda "OLS tahmincisi" tarafından tarafından verilen …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Düzeltilmiş R-karesi için R'de kullanılan tam formül nedir lm() ? Bunu nasıl yorumlayabilirim? Düzeltilmiş r-kare formülleri Düzeltilmiş R-karesini hesaplamak için birkaç formül var gibi gözüküyor. Kayık formülü: 1−(1−R2)(n−1)(n−v)1−(1−R2)(n−1)(n−v)1-(1-R^2)\frac{(n-1)}{(n-v)} McNemar formül: 1−(1−R2)(n−1)(n−v−1)1−(1−R2)(n−1)(n−v−1)1-(1-R^2)\frac{(n-1)}{(n-v-1)} Rab formülü: 1−(1−R2)(n+v−1)(n−v−1)1−(1−R2)(n+v−1)(n−v−1)1-(1-R^2)\frac{(n+v-1)}{(n-v-1)} Stein'in formülü: 1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2) Ders kitabı açıklamaları Field'ın ders kitabına göre, R'yi Kullanarak İstatistikleri Keşfetme (2012, s. …

35 r  regression  r-squared  lm  shrinkage 

LassoRegresyon gibi bir şeyden önce değişkenleri standartlaştırmanın üç ana nedenini okudum : 1) Katsayıların yorumlanabilirliği. 2) Katsayı önemini büzülme sonrası katsayı tahminlerinin göreceli büyüklüğü ile sıralama yeteneği. 3) Kesişmeye gerek yok. Ama en önemli noktayı merak ediyorum. Standardizasyonun modelin örnek genellemesinin dışına çıkacağını düşünmek için bir nedenimiz var mı? Ayrıca, …

28 normalization  lasso  standardization  regularization  shrinkage 

Orijinal elastik ağ kağıdı Zou & Hastie (2005) Doğrusal regresyon için elastik ağ üzerinden yapılan elastik ağ üzerinden düzenlileştirme ve değişken seçimi (burada tüm değişkenlerin merkezlenmiş ve birim varyansa ölçeklendirildiğini varsayarım): ancak buna "saf elastik ağ" denir. İkili büzülme (kement ve çıkıntı) gerçekleştirdiğini, fazla büzülme eğiliminde olduğunu ve elde edilen …

27 regression  regularization  glmnet  elastic-net  shrinkage 

Bir keresinde Kement'i iki kez (bir çift kement gibi) kullanarak, orijinal değişken kümesinde kement kullandığınız bir yöntem duydum, S1 diyelim, S2 adı verilen seyrek bir küme elde ettikten sonra, K2 kümesinde S3 kümesini elde etmek için kement tekrar uygulayın. . Bunun için metodolojik bir terim var mı? Ayrıca, iki kez …

26 regression  lasso  regularization  shrinkage  lars 

LASSO regresyonu katsayıları sıfıra doğru küçültür, böylece etkin model seçimi sağlar. Verilerimde nominal ve sürekli değişkenler arasında anlamlı etkileşimler olduğuna inanıyorum. Bununla birlikte, zorunlu olarak, gerçek modelin 'sıfır etkisi olmayan' ana etkileridir. Tabii ki, gerçek model bilinmediğinden bunu bilmiyorum. Hedeflerim gerçek modeli bulmak ve sonucu mümkün olduğunca yakın tahmin etmektir. …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Doğrusal bir model için , büzülme terimi her zaman .P ( β )y= β0+ x β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Önyargı (engelleme) terimini küçültmememizin nedeni nedir ? Yapay sinir ağ modellerinde yanlılık terimini küçültmeli miyiz?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Hassasiyet şu şekilde tanımlanır: p = true positives / (true positives + false positives) Gibi, bu doğru mu true positivesve false positiveshassas 1 yaklaşır yaklaşım 0? Hatırlama için aynı soru: r = true positives / (true positives + false negatives) Şu anda bu değerleri hesaplamam gereken bir istatistiksel test uyguluyorum …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

James-Stein tahmincisi hakkında okuyordum. Bu yer, tanımlanan notları gibi θ^=(1−p−2∥X∥2)Xθ^=(1−p−2‖X‖2)X \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X Kanıtı okudum ama şu ifadeyi anlamıyorum: Geometrik olarak, James-Stein tahmincisi X'in her bir bileşenini XXXbaşlangıç ​​noktasına doğru daraltır ... " X'in her bileşenini XXXbaşlangıç ​​noktasına doğru daraltır " tam olarak ne anlama geliyor? Ben gibi şeyler düşünüyordum …

19 estimation  terminology  shrinkage  steins-phenomenon 

Bradley Efron ve Carl Morris'in "Stein'ın İstatistiklerdeki Paradoksu" adlı 1977 Scientific American gazetesinde James-Stein Büzülme faktörünü hesaplamakla ilgili bir sorum var . Beyzbol oyuncuları için veri topladım ve aşağıda verilmiştir: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, 0.276 Johnstone, 0.333, 0.222 Berry, 0.311, 0.273 Spencer, 0.311, …

18 estimation  shrinkage  steins-phenomenon