«ridge-regression» etiketlenmiş sorular

Aynı parametrenin tutarlı tahmin edicileri olan ve iki tahmincim olduğunu ve ile anlamında . Dolayısıyla, asimptotik olarak daha etkilidir . Bu iki tahminci farklı kayıp fonksiyonlarına dayanmaktadır. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 Şimdi, tahmincilerimin sonlu örnek özelliklerini …

11 regression  ridge-regression  shrinkage  penalized 

R'de sırt regresyonu kullanarak regresyon modelinin en iyi değişken çözümünü bulmak için bazı veriler uyguladım lm.ridgeve kullandığımda glmnet(ne zaman alpha=0), ancak sonuçlar özellikle ne zaman çok farklı lambda=0. Her iki parametre tahmincisinin de aynı değerlere sahip olduğunu varsayar. Peki, buradaki problem nedir? Saygılarımla

11 r  regression  ridge-regression  glmnet 

İstatistiksel Öğrenme Unsurları'nda (Hastie, Tibshrani & Friedman) Bölüm 3'ü okuduktan sonra, bir kovaryans yapısı göz önüne alındığında, bu sorunun başlığında alıntılanan ünlü büzülme yöntemlerinin uygulanmasının mümkün olup olmadığını merak ettim, ) miktar ( y⃗ - Xβ⃗ )TV- 1( y⃗ - Xβ⃗ ) + λ f( β) , ( 1 ) …

11 lasso  ridge-regression 

A bağımsız değişkenlerin matrisi, B bağımlı değerlerin karşılık gelen matrisi olsun. Sırt regresyon olarak, bir parametre tanımlamak böylece: . Şimdi [usv] = svd (A) ve 's' diyagonal girişini yapalım . serbestlik derecelerini (df) = . Ridge regresyon düşük varyans bileşenlerinin katsayıları ve dolayısıyla parametre küçülür için kontroller freedom.So derecelerin×pnxpn \times …

11 ridge-regression 

Sırt ve kement regresyonu için özellikleri standartlaştırmanın yaygın bir uygulama olduğunun farkındayım, ancak bu regresyon yöntemleri için z skor standardizasyonuna alternatif olarak (0,1) ölçeğindeki özellikleri normalleştirmek daha pratik olur muydu?

11 normalization  lasso  standardization  ridge-regression 

Ridge Regresyonu burada öngörülen etikettir , , matris tanımlamak biz için bir etiket bulmaya çalışıyorsanız nesne ve matrisi nesnelerin şöyle:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d X=⎛⎝⎜⎜⎜⎜⎜x1,1x2,1⋮xn , 1x1 ,2x2 ,2⋮x1 , 2……⋱...x1 , dx2 , d⋮xn , d⎞⎠⎟⎟⎟⎟⎟X=(x1,1x1,2…x1,dx2,1x2,2…x2,d⋮⋮⋱⋮xn,1x1,2…xn,d) \mathbf{X} = \begin{pmatrix} x_{1,1} …

11 regression  ridge-regression  kernel-trick 

Birkaç cevapta CrossValidated kullanıcılarının OPso'nun Lasso, Ridge ve Elastik Ağ hakkında erken makaleler bulmasını önerdiğini gördüm. Gelecek nesiller için Kement, Sırt ve Elastik Ağ üzerindeki seminal çalışmalar nelerdir?

10 references  lasso  regularization  ridge-regression  elastic-net 

Uygulamalı Doğrusal İstatistiksel Modeller , 5. Baskı bölüm 11'deki sırt regresyonunun açıklamasını okuyorum . Sırt regresyonu, burada bulunan vücut yağ verileri üzerinde yapılır . Ders kitabı SAS'daki çıktıyla eşleşir, burada geri dönüştürülmüş katsayılar takılan modelde şu şekilde verilir: Y= - 7,3978 + 0,5553 X1+ 0.3681 X2- 0.1917 X3Y=-7,3978+0,5553X1+0,3681X2-0,1917X3 Y=-7.3978+0.5553X_1+0.3681X_2-0.1917X_3 Bu …

10 r  sas  ridge-regression 

Negatif olmayan sırt regresyonu nasıl yapılır? Negatif olmayan kement mevcuttur scikit-learn, ancak sırt için betaların olumsuzluklarını zorlayamam ve gerçekten de negatif katsayılar alıyorum. Bunun neden olduğunu bilen var mı? Ayrıca, en küçük kareler açısından sırt uygulayabilir miyim? Bunu başka bir soruya taşıdık: OLS regresyonu açısından sırt regresyonunu uygulayabilir miyim?

10 regression  lasso  regularization  ridge-regression 

En küçük kareler regresyon probleminde düzenlemeyi uygulayabileceğimizi anlıyorum. w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] ve bu sorunun şu şekilde kapalı bir çözümü olduğunu: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. 2. denklemde, düzenlileştirmenin, matris tersinin sayısal kararlılığını geliştirmek için yapılan \ boldsymbol {X} ^ T \ boldsymbol {X} ' un köşegenine …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Verilerimin tahmininin 200 denek ve 1000 değişken ile çapraz doğrulanması üzerinde çalışıyorum. Değişken sayısı (kullanmak istiyorum) örnek sayısından daha büyük olduğu için ridge regresyonuyla ilgileniyorum. Bu yüzden büzülme tahmin edicileri kullanmak istiyorum. Aşağıdaki örnek veriler oluşur: #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) for (i in …

9 r  cross-validation  prediction  ridge-regression 

Hastanın yaşının (yıl olarak ölçülen bir tamsayı miktarı) öngörücü değişkenlerden biri olduğu öngörücü bir maliyet modeli üzerinde çalışıyorum. Yaş ve hastanede kalış riski arasında doğrusal olmayan güçlü bir ilişki açıktır: Hasta yaşı için bir regresyon düzeltme spline'ı cezalandırmayı düşünüyorum. İstatistiksel Öğrenmenin Unsurlarına göre (Hastie ve diğerleri, 2009, s.151), optimal düğüm …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Zaman , küresel bir kısıtlama empoze en küçük kareler problemi değerine olarak yazılabilir . \ | \ cdot \ | _2 bir vektörün Öklid normudur.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}∥⋅∥2‖⋅‖2\|\cdot\|_2 Tekabül eden …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Regresyon sırtında yeniyim. Doğrusal sırt regresyonunu uyguladığımda, aşağıdaki sonuçları aldım: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at 0 Sorular: İçin sıfır almak …

9 ridge-regression