«regularization» etiketlenmiş sorular

Doğrusal regresyonla ilgili kitapları okuyorum. L1 ve L2 normuyla ilgili bazı cümleler var. Onları tanıyorum, sadece neden L1 normunun seyrek modeller için olduğunu anlamıyorum. Birisi kullanmak basit bir açıklama verebilir mi?

97 regression  lasso  regularization  ridge-regression 

Kementin teknik olmayan bir tanımını ve ne için kullanıldığını arıyorum.

81 regression  lasso  regularization  shrinkage 

İstatistiksel Öğrenme Öğelerini okudum ve Lasso'nun neden değişken seçim sağladığını ve sırt regresyonunun neden olmadığını bilmek istiyorum. Her iki yöntem de artık kareler toplamını en aza indirir ve parametrelerinin olası değerleri üzerinde bir kısıtlamaya sahiptir . Kement için sınırlama iken, sırt için bazı için .| | β | | 1 …

76 regression  feature-selection  lasso  regularization 

Diğer makalelerden farklı olarak, bu konu için wikipedia girişini matematik olmayan bir kişi için (benim gibi) okunamayan buldum . Temel fikri anladım, daha az kuralı olan modelleri tercih edersiniz. Alamadığım şey, bir dizi kuraldan, modelleri en azından en fazla giydirmeye sıralamak için kullanabileceğiniz bir 'normalizasyon puanına' nasıl ulaşacağınızdır. Basit bir …

74 regularization 

Bunu okumaya devam ediyorum ve sezgisel olarak bunu görebiliyorum, ancak L2 düzenlileşmesinden analitik olarak bunun bir Gauss Öncesi olduğunu söylemeye nasıl geçilir? Aynı şey, L1'in daha önce bir Laplacean'a eşdeğer olduğunu söylemek için de geçerli. Diğer referanslar çok iyi olurdu.

56 regression  references  regularization 

Model seçimindeki problemleri çözmek için, bir dizi yöntem (LASSO, ridge regresyon, vb.) Yordayıcı değişkenlerinin katsayılarını sıfıra çekecektir. Bunun neden tahmin edilebilirliği geliştirdiğine dair sezgisel bir açıklama arıyorum. Değişkenin gerçek etkisi aslında çok büyükse, neden parametreyi küçültmek daha kötü bir tahminle sonuçlanmıyor?

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Düzenleme kullanıldığında, genellikle aşağıdaki maliyet işlevindeki gibi maliyet işlevine eklenir. Bu, ekranın küçültülmesinden beri sezgisel bir anlam ifade eder. maliyet fonksiyonu, aynı zamanda hatayı minimize etmek (sol terim) ve katsayıların büyüklüğünü (doğru terim) en aza indirmek (veya en azından iki minimizasyonu dengelemek) anlamına gelir.J(θ)=12(y−θXT)(y−θXT)T+α∥θ∥22J(θ)=12(y−θXT)(y−θXT)T+α‖θ‖22 J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2 Sorum …

51 regularization 

İle iyi eski regresyon problemi düşünün belirleyicileri ve örnek büyüklüğü . Her zamanki bilgelik, OLS tahmincisinin fazladan donacağı ve genel olarak ridge regresyon tahmincisi tarafından daha iyi şekillendirileceğidir:Optimal düzenlileştirme parametresi bulmak için çapraz doğrulama kullanmak standarttır . Burada 10 kat CV kullanıyorum. Açıklama güncellemesi: olduğunda "OLS tahmincisi" tarafından tarafından verilen …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Geleneksel istatistiklerde, bir model oluştururken, varyans enflasyon faktörünün (VIF) tahminleri gibi yöntemleri kullanarak çok doğrusallığı kontrol ediyoruz, ancak makine öğreniminde, bunun yerine özellik seçimi için düzenlileştirme kullanıyoruz ve özelliklerin birbiriyle ilişkili olup olmadığını kontrol etmiyoruz. hiç. Neden bunu yapıyoruz?

44 regression  machine-learning  multicollinearity  regularization  vif 

Ridge, Lasso, ElasticNet gibi yöntemler kullanılarak yapılan düzenlileştirme doğrusal regresyon için oldukça yaygındır. Aşağıdakileri bilmek istedim: Bu yöntemler lojistik regresyon için uygulanabilir mi? Öyleyse, lojistik regresyon için kullanılması gereken farklılıklar var mı? Bu yöntemler uygulanabilir değilse, lojistik regresyon nasıl düzenlenir?

42 regression  logistic  regularization 

Momentum , ardışık yinelemelere göre ağırlık değişimlerindeki dalgalanmaları azaltmak için kullanılır:αα\alpha D(a), bir hata fonksiyonuw- ağırlıklarının vektörüη- öğrenme oranı.Δ ωben( t + 1 ) = - η∂E∂wben+ α Δ ωben( t ) ,Δωben(t+1)=-η∂E∂wben+αΔωben(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E( w )E(w)E({\bf w})ww{\bf w}ηη\eta Ağırlık azalması , ağırlık …

41 neural-networks  optimization  regularization  gradient-descent 

Ridge regresyonu için çözümün türetilmesiyle ilgili bazı sorunlar yaşıyorum. Regresyon çözümünü normalleştirme terimi olmadan biliyorum: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Tek bir standart hata kuralının para cezası lehine kullanılmasını haklı çıkaran ampirik çalışmalar var mı? Açıkçası, verilerin veri oluşturma sürecine bağlıdır, ancak büyük bir veri kümesini analiz eden herhangi bir şey çok ilginç bir okuma olacaktır. Modeller çapraz onaylama yoluyla (veya daha genel olarak herhangi bir randomizasyon temelli prosedür aracılığıyla) …

38 cross-validation  model-selection  regularization 

Genel olarak Sinir Ağları ve özellikle de Derin Sinir Ağları bağlamında sıkça gündeme getirdiğim bir sorun, onların "aç veri" olduğudur - büyük bir veri setimiz olmadığı sürece iyi performans göstermiyorlar. hangi ağı eğitmek için. Anladığım kadarıyla, bunun NNets'in, özellikle Deep NNets'in çok fazla serbestlik derecesine sahip olmasından kaynaklanıyor olmasıdır. Dolayısıyla, …

37 neural-networks  deep-learning  regularization 

Sadece neden sadece ve normlarının düzenli hale merak ediyorum . Bunların neden daha iyi olduğuna dair kanıtlar var mı?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression