«ridge-regression» etiketlenmiş sorular

Makine öğrenmeyi öğrenen bir yazılım mühendisiyim, özellikle Andrew Ng'nin makine öğrenim kursları aracılığıyla . Düzenlemeyle doğrusal regresyon çalışırken , kafa karıştırıcı terimler buldum: L1 düzenlenmesi veya L2 düzenlenmesi ile regresyon KEMENT Ridge regresyonu Yani benim sorularım: L1 düzenlileşmesi ile yapılan regresyon, LASSO ile tamamen aynı mıdır? L2 düzenlileşmesi ile regresyon …

33 regression  terminology  lasso  regularization  ridge-regression 

Tikhonov düzenlenmesi ve sırt regresyonu genellikle aynımış gibi kullanılan terimlerdir. Aradaki farkın tam olarak ne olduğunu belirtmek mümkün müdür?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Sırt, LASSO ve esnek ağ regülasyon metotları nasıl karşılaştırılır? Avantajları ve dezavantajları nelerdir? Herhangi bir iyi teknik makale veya ders notu da takdir edilecektir.

33 references  lasso  regularization  ridge-regression  elastic-net 

Not: L1'in özellik seçimi özelliğine sahip olduğunu biliyorum. Özellik seçimi tamamen alakasız olduğunda hangisini seçeceğimi anlamaya çalışıyorum. Hangi düzenlileştirmenin (L1 veya L2) kullanılacağına nasıl karar verilir? L1 / L2 düzenlemelerinin her birinin artıları ve eksileri nelerdir? L1 ile özellik seçimi yapıp, bu seçilen değişkenlere L2 uygulayarak yapılması önerilir mi?

30 regression  lasso  regularization  ridge-regression 

Sırt regresyon tahminlerini hesaplamak için glmnet kullanıyorum. Beni glmnet’in yaptığını düşündüğüm şeyi yaptığından şüphelenen bazı sonuçlar aldım. Bunu kontrol etmek için, çözüme göre yapılan ridge regresyonunun sonucunu ve glmnet'teki karşılaştırmayı yaptığım basit bir R betiği yazdım, fark önemlidir. n <- 1000 p. <- 100 X. <- matrix(rnorm(n*p,0,1),n,p) beta <- rnorm(p,0,1) …

28 r  ridge-regression  glmnet 

En küçük kareler bağlamında sırt cezası ile ilgili birkaç sorum var: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) İfade, X'in kovaryans matrisinin köşegen bir matrise doğru küçüldüğünü, yani (değişkenlerin işlemden önce standartlaştırıldığı varsayılarak) girdi değişkenleri arasındaki korelasyonun azaltılacağını önermektedir. Bu yorum doğru mu? 2) Eğer büzülme uygulamasıysa neden satırlarına formüle …

25 regression  pca  regularization  ridge-regression 

Bu yüzden, L1 (yani, kement) ve L2 (yani sırt regresyonunun) merkezi önlemlerinin tahmin edildiği bir soru soruldu. Cevap, L1 = medyan ve L2 = ortalamadır. Bunun için herhangi bir sezgisel akıl yürütme var mı? Yoksa cebirsel olarak mı tespit edilmesi gerekiyor? Eğer öyleyse, bunu nasıl yapacağım?

24 lasso  regularization  loss-functions  ridge-regression 

LASSO ( L1L1L_1 ) ve Ridge ( L2L2L_2 ) gibi bazı ceza fonksiyonları ve yaklaşımları iyi incelenmiştir ve bunların regresyonda nasıl karşılaştırıldığı. ∑∥βj∥γΣ‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Wenjiang [ 1 ], olduğunda Bridge cezasını karşılaştırdı , ancak olarak verilen LASSO ve Ridge cezalarının bir birleşimi olan Elastik Net Düzenlemesi …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Çıkıntı regresyonunu, nin birim kareler toplamına sahip olmasını gerektiren ek bir kısıtlama ile düşünün (eşdeğerde birim sapma); Gerekirse, kişi birim toplamı da olduğu varsayılabilir :y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* ne zaman \ lambda \ to \ infty sınırı …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Bir tür düzenli tahminler kullanarak bazı yüksek boyutlu verilerden çok sayıda parametre tahmin etmeye çalıştığımı varsayalım. Düzenleyici, tahminlere bir miktar önyargı getirir, ancak varyanstaki düşüşün telafi etmekten daha fazla olması gerektiği için hala iyi bir denge olabilir. Sorun, güven aralıklarını tahmin etmek istediğimde ortaya çıkıyor (örn. Laplace yaklaşımı veya önyükleme …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Doğrusal bir model için , büzülme terimi her zaman .P ( β )y= β0+ x β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Önyargı (engelleme) terimini küçültmememizin nedeni nedir ? Yapay sinir ağ modellerinde yanlılık terimini küçültmeli miyiz?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Çoklu regresyon için standart modeli düşünün burada ε ∼ N ( 0 , σ 2 I n ) , böylece normallik, homoscedasticity ve hataların ilişkisizliği geçerlidir.Y=Xβ+εY=Xβ+εY=X\beta+\varepsilonε∼N(0,σ2In)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) köşegeninin tüm elemanlarına aynı küçük miktarda ekleyerek bir sırt regresyonu gerçekleştirdiğimizi varsayalım :XXX βridge=[X′X+kI]−1X′Yβridge=[X′X+kI]−1X′Y\beta_\mathrm{ridge}=[X'X+kI]^{-1}X'Y Bazı değerler vardır , ancak sırt …

21 regression  assumptions  ridge-regression 

Sırt regresyonunun katsayıları nasıl geometrik olarak sıfıra indirdiğini anladım. Üstelik bunu özel "Ortonormal Durum" da nasıl kanıtlayacağımı biliyorum ama bunun genel vakada "Spektral ayrışma" yoluyla nasıl çalıştığı konusunda kafam karıştı.

20 regression  multiple-regression  regularization  ridge-regression  svd 

Cezalandırılan R paketini , çok sayıda tahmin ediciye ve hangilerinin önemli olduğuna dair çok az bilgiye sahip olduğum bir veri kümesi için küçültülmüş katsayı tahminleri elde etmek için kullanıyorum. L1 ve L2 ayarlama parametrelerini seçtikten ve katsayılarımdan memnun kaldıktan sonra, modelin R-kare gibi bir şeyle özetlenmesinin istatistiksel olarak sağlam bir …

20 regression  lasso  stepwise-regression  ridge-regression 

Web'de bir yerde sırt regresyonu ( düzenlenmesi ile) ve PCA regresyonu arasında bir bağlantı okuduğumu hatırlıyorum : hiperparametre ile düzenli regresyon kullanırken , , regresyon, En küçük özdeğerli PC değişkeni.ℓ 2 λ λ → 0ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to 0 Bu neden doğru? Bunun optimizasyon prosedürüyle ilgisi var mı? Saf bir şekilde, bunun …

19 regression  pca  regularization  ridge-regression