«regularization» etiketlenmiş sorular

Yaklaşık 60 prediktör değişkenli ve 30 gözlemli çok değişkenli bir lineer regresyon modeline uymaya çalışıyorum, bu yüzden p> n olduğu için düzenli regresyon için glmnet paketini kullanıyorum . Belgelendirme ve diğer sorulardan geçtim ama sonuçları yine de yorumlayamıyorum, işte örnek bir kod (basitleştirmek için 20 öngörücü ve 10 gözlemle): Num …

36 r  regression  regularization  glmnet 

İstatistiksel Öğrenmeye Giriş bölümündeki 223. Sayfada yazarlar ridge regresyonu ile kement arasındaki farkları özetlemektedir. "Kementin önyargı, varyans ve MSE açısından sırt regresyonundan daha iyi performans gösterme eğiliminde olduğu" bir örnek (Şekil 6.9). Kementin neden arzu edildiğini anlıyorum: çok sayıda katsayıyı 0'a daralttığı için basit ve yorumlanabilen modeller ile sonuçlanan seyrek …

35 machine-learning  prediction  lasso  regularization  ridge-regression 

Bu yöntemlerin dezavantajlarını çözdüğü için elastik net düzenlileştirme Lasso ve Ridge için her zaman tercih edilir mi? Sezgi nedir ve elastik ağın arkasındaki matematik nedir?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Değişken üzerindeki bir katsayı ne kadar büyükse, modelin bu boyutta "sallanma" yeteneğinin o kadar fazla olması ve gürültüye uyması için daha fazla fırsat sağlanması gerektiğini hayal ediyorum. Modeldeki varyans ve büyük katsayılar arasındaki ilişki konusunda makul bir anlayışa sahip olduğumu düşünmeme rağmen , kıyafet modellerinde neden ortaya çıktıkları konusunda hiçbir …

33 regression  variance  linear-model  bias  regularization 

Makine öğrenmeyi öğrenen bir yazılım mühendisiyim, özellikle Andrew Ng'nin makine öğrenim kursları aracılığıyla . Düzenlemeyle doğrusal regresyon çalışırken , kafa karıştırıcı terimler buldum: L1 düzenlenmesi veya L2 düzenlenmesi ile regresyon KEMENT Ridge regresyonu Yani benim sorularım: L1 düzenlileşmesi ile yapılan regresyon, LASSO ile tamamen aynı mıdır? L2 düzenlileşmesi ile regresyon …

33 regression  terminology  lasso  regularization  ridge-regression 

Tikhonov düzenlenmesi ve sırt regresyonu genellikle aynımış gibi kullanılan terimlerdir. Aradaki farkın tam olarak ne olduğunu belirtmek mümkün müdür?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Sırt, LASSO ve esnek ağ regülasyon metotları nasıl karşılaştırılır? Avantajları ve dezavantajları nelerdir? Herhangi bir iyi teknik makale veya ders notu da takdir edilecektir.

33 references  lasso  regularization  ridge-regression  elastic-net 

SVD ve PCA'yı anlayan biri için kısmi en küçük kareler regresyonunun (çevrimiçi olarak erişilebilir) arkasındaki teorinin iyi bir şekilde açıklanmasını tavsiye edebilir miyim? Çevrimiçi olarak birçok kaynağa baktım ve doğru titizlik ve erişilebilirlik kombinasyonuna sahip hiçbir şey bulamadım. İçine baktım İstatistiksel Öğrenme Elements üzerine sorulan bir soru üzerine yorumunda öne …

33 regression  references  regularization  svd  partial-least-squares 

Örneğin, regresyon yaparken, seçilecek iki hiper parametresi genellikle fonksiyonun kapasitesidir (örneğin bir polinomun en büyük üssü) ve düzenlileştirme miktarıdır. Kafam karıştı, neden sadece düşük kapasiteli bir işlev seçmiyor ve ardından herhangi bir düzenlemeyi yok sayıyorsunuz? Bu şekilde, fazla giymeyecek. Düzenlemeyle birlikte yüksek kapasiteli bir işleve sahipsem, düşük kapasiteli bir işleve …

32 regression  machine-learning  optimization  regularization  polynomial 

Not: L1'in özellik seçimi özelliğine sahip olduğunu biliyorum. Özellik seçimi tamamen alakasız olduğunda hangisini seçeceğimi anlamaya çalışıyorum. Hangi düzenlileştirmenin (L1 veya L2) kullanılacağına nasıl karar verilir? L1 / L2 düzenlemelerinin her birinin artıları ve eksileri nelerdir? L1 ile özellik seçimi yapıp, bu seçilen değişkenlere L2 uygulayarak yapılması önerilir mi?

30 regression  lasso  regularization  ridge-regression 

İlgili özellikleri seçmek ve doğrusal bir regresyon modeli oluşturmak için GLM ve Elastic Net'i kullanmak isterim (yani, hem öngörme hem de anlama, bu nedenle göreceli olarak az sayıda parametreyle bırakılmak daha iyi olur). Çıkış süreklidir. Bu var başına genler 50 olguda. Paket hakkında okuyordum , ancak uygulanacak adımlar konusunda% 100 …

29 r  regularization  glmnet  elastic-net  underdetermined 

Kullandığım auto.arima () işlevi tahmini kovaryatların çeşitli ARMAX modellerini uyması için paketin. Bununla birlikte, sıklıkla seçim yapabileceğim çok sayıda değişkenim var ve bunlar genellikle bir alt kümesiyle çalışan son bir modelle sonuçlanır. Değişken seçim için geçici teknikleri sevmiyorum, çünkü ben insanım ve önyargılıyım, ancak zaman aşımına uğrayan zaman serileri zor …

29 r  time-series  lasso  regularization  elastic-net 

Kement sorunu kapalı formda bir çözüme sahip: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ metin {LS}} _ j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + , X ortonormal sütunlara sahipse. Bu, bu başlıkta gösterilmiştir: Kapalı formdaki …

28 regression  lasso  regularization 

LassoRegresyon gibi bir şeyden önce değişkenleri standartlaştırmanın üç ana nedenini okudum : 1) Katsayıların yorumlanabilirliği. 2) Katsayı önemini büzülme sonrası katsayı tahminlerinin göreceli büyüklüğü ile sıralama yeteneği. 3) Kesişmeye gerek yok. Ama en önemli noktayı merak ediyorum. Standardizasyonun modelin örnek genellemesinin dışına çıkacağını düşünmek için bir nedenimiz var mı? Ayrıca, …

28 normalization  lasso  standardization  regularization  shrinkage 

Orijinal elastik ağ kağıdı Zou & Hastie (2005) Doğrusal regresyon için elastik ağ üzerinden yapılan elastik ağ üzerinden düzenlileştirme ve değişken seçimi (burada tüm değişkenlerin merkezlenmiş ve birim varyansa ölçeklendirildiğini varsayarım): ancak buna "saf elastik ağ" denir. İkili büzülme (kement ve çıkıntı) gerçekleştirdiğini, fazla büzülme eğiliminde olduğunu ve elde edilen …

27 regression  regularization  glmnet  elastic-net  shrinkage