«least-squares» etiketlenmiş sorular

Hangi durumlarda, OLS yerine düzenlileştirme yöntemleri (sırt, kement veya en küçük açılar regresyonu) kullanılmalıdır? Bunun tartışmayı yönlendirmesine yardımcı olması durumunda, temel ilgi alanım tahmin doğruluğunu iyileştirmektir.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Ridge regresyon tahmininin, kalan kare miktarını ve büyüklüğünde bir cezayı en aza indiren olduğunu anlıyorumββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Bununla birlikte, βridgeβridge\beta_\text{ridge} 'in \ beta_ \ text {OLS}' dan farklı olduğunu, X 'X'in köşegenineβOLSβOLS\beta_\text{OLS} sadece küçük bir sabit ekleyerek anlamını tam olarak …

59 regression  least-squares  ridge-regression  shrinkage 

Neden Ortalama Mutlak Hata (MAE) yerine Kök Ortalama Karesi Hatası (RMSE) kullanılır? Selam Hesaplamada oluşan hatayı araştırıyorum - İlk başta hatayı Ortalama Ortalama Karelenmiş Hata Hatası olarak hesapladım. Biraz daha yakından bakıldığında, hata karelerinin etkisinin, küçük hatalardan daha büyük hatalara daha fazla ağırlık verdiğini ve hata tahminini garip aykırı yönüne …

58 least-squares  mean  rms  mae 

Görünüşte saygın kaynaklar, bağımlı değişkenin normal olarak dağıtılması gerektiğini iddia ediyor: Model varsayımları: YYY normal dağılmış, hatalar normal dağılmış, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) ve bağımsız ve XXX sabittir ve sabit varyans σ2σ2\sigma^2 . Penn State, STAT 504 Kesikli Verilerin Analizi İkincisi, doğrusal regresyon analizi tüm değişkenlerin çok değişkenli normal olmasını gerektirir. …

45 regression  least-squares  linear-model  dependent-variable 

Bu sitede , OLS artıklarının asimptotik olarak normal dağılım gösterip göstermediğini nasıl belirleyeceğimizi tartışan birkaç konu var . Artıkların R kodlu normalliklerini değerlendirmenin başka bir yolu da bu mükemmel cevapta verilmiştir . Bu, standart hale getirilmiş ve gözlemlenen artıklar arasındaki pratik farkla ilgili başka bir tartışmadır . Ancak diyelim ki …

43 regression  least-squares  residuals  assumptions  normality-assumption 

Maksimum olabilirlik tahmini (MLE) ile en küçük kareler tahmini (LSE) arasındaki temel fark nedir? Neden lineer regresyonda değerlerini tahmin etmek için MLE'yi kullanamıyoruz ?yyy Bu konuda herhangi bir yardım çok takdir edilecektir.

42 regression  estimation  maximum-likelihood  least-squares 

Genelde "sıradan en küçük kareler" hakkında bir şeyler duyarım. Doğrusal regresyon için en yaygın kullanılan algoritma bu mu? Farklı bir tane kullanmak için sebepler var mı?

42 regression  least-squares  algorithms  computational-statistics  numerics 

Neden fiili standart sigmoid fonksiyonu, 11+e−x11+e−x\frac{1}{1+e^{-x}} , (derin olmayan) sinir ağlarında ve lojistik regresyonda çok mu popüler? Neden daha hızlı işlem süresi veya daha yavaş bozunma ile diğer türetilebilir fonksiyonların birçoğunu kullanmıyoruz (bu yüzden kaybolma derecesi daha az gerçekleşir). Sigmoid fonksiyonları hakkında birkaç örnek Wikipedia'da . Yavaş yavaş bozulan ve …

40 logistic  neural-networks  least-squares 

Ridge regresyonu için çözümün türetilmesiyle ilgili bazı sorunlar yaşıyorum. Regresyon çözümünü normalleştirme terimi olmadan biliyorum: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Doğrusal regresyon yaptığımızda, bir sürü veri noktasına uyacak şekilde , klasik yaklaşım kare hatasını en aza indirir. Uzun zamandır karelerdeki hatayı en aza indirecek bir soruyu şaşırtmıştım , mutlak hatayı minimize etmekle aynı sonucu verdin mi? Değilse neden kare hatasını en aza indirgemek daha iyidir? “Amaç işlevi farklılaştırılabilir” den başka …

38 least-squares  error 

Bir OLS regresyonu çalıştırmaya çalışıyorum: DV: Bir yıl boyunca kilodaki değişim (başlangıç ​​ağırlığı - son ağırlık) IV: Egzersiz yapıp yapmadığın. Bununla birlikte, daha ağır olan kişilerin egzersiz birimi başına daha zayıf insanların, zayıf insanlardan daha fazla kilo vermesi makul görünmektedir. Böylece bir kontrol değişkeni eklemek istedim: CV: İlk başlangıç ​​ağırlığı. …

38 regression  repeated-measures  least-squares  change-scores 

Arka fon Regresyon modelimizde katsayılarının olduğu Sıradan En Küçük Kareler modelimiz olduğunu varsayalım , kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} burada bir olan katsayılarının vektörü, olan tasarım matrisi ile tanımlananββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots …

29 regression  linear-model  least-squares  t-distribution 

Her zaman lm()R'de üzerindeki lineer regresyonunu yapmak için kullanırım . Bu işlev , bir katsayısı döndürürx β y = β x .yyyxxxββ\betay=βx.y=βx.y = \beta x. Bugün toplam en küçük kareleri öğrendim ve bu princomp()işlevi (temel bileşen analizi, PCA) gerçekleştirmek için kullanılabiliyor. Benim için iyi olmalı (daha doğru). princomp()Gibi bazı testler …

29 r  pca  least-squares  deming-regression  total-least-squares 

Bu yazıda , karışık etki modellemesi ile bir ölçümün tekrarlanabilirliğini (diğer bir deyişle güvenilirlik, sınıf içi korelasyon) nasıl hesaplayacağımı anladım . R kodu şöyle olurdu: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

OLS modeli altında, RSS (artık kareler toplamı) değerinin χ 2 ⋅ ( n - p )χ2⋅(n−p)\chi^2\cdot (n-p) ( p ) neden dağıldığını anlamak istiyorum.pp modelinde parametrelerinin sayısı, varlık nnn gözlem sayısı). Bu kadar temel bir soruyu sorduğum için özür dilerim, ancak cevabı çevrimiçi olarak bulamıyorum (ya da benim uygulama alanım …

28 regression  distributions  least-squares