«regularization» etiketlenmiş sorular

LASSO probleminin katsayılarını almak istiyorum | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Sorun glmnet ve lars fonksiyonlarının farklı cevaplar vermesidir. Glmnet fonksiyonu için sadece λ yerine , ama yine de farklı cevaplar alıyorum.λ / | | Y| |λ/||Y||\lambda/||Y||λλ\lambda Bu bekleniyor mu? Lars arasındaki ilişki nedir ve …

13 r  machine-learning  regression  lasso  regularization 

L1 düzenli lineer regresyonu takmak için koordinat inişine karşı LARS [1] kullanmanın avantajları ve dezavantajları nelerdir? Ben esas olarak performans yönleriyle ilgileniyorum (sorunlarım Nyüzbinlerce ve p<20'de olma eğilimindedir ). Ancak, diğer görüşler de takdir edilecektir. edit: Soruyu gönderdiğimden beri, chl, Friedman ve arkadaşları tarafından koordinat inişinin diğer yöntemlerden önemli ölçüde …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Grup kementinin bir değişken grubunda değişken seçimi ve seyrekliği için kullanıldığını okudum. Bu iddianın ardındaki sezgiyi bilmek istiyorum. Kement grubu neden kemente tercih edilir? Grup kement çözüm yolu neden parça parça doğrusal değil?

13 regression  feature-selection  lasso  regularization 

Sırt, kement ve elastik ağ ile seçilen modelleri karşılaştırmak istiyorum. Aşağıdaki Şekil 3 yöntemi de kullanarak katsayı yollarını göstermektedir: sırt (Şekil A, alfa = 0), kement (Şekil B; alfa = 1) ve elastik ağ (Şekil C; alfa = 0.5). En uygun çözüm, çapraz doğrulamaya dayalı olarak seçilen seçilen lambda değerine …

13 r  multiple-regression  modeling  regularization 

Aşağıdaki kod ile R 'lars' paketini kullanıyorum: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <- …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

İşte onu kullanan bir keras kodu örneği: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

13 neural-networks  regularization  conv-neural-network  optimization 

Sırt regresyonu ve LASSO'nun artıları ve eksileri hakkında zaten bir fikrim var. LASSO için, L1 ceza süresi, bir özellik seçim yöntemi olarak görülebilen seyrek bir katsayı vektörü verecektir. Bununla birlikte, LASSO için bazı sınırlamalar vardır. Özelliklerin yüksek korelasyonu varsa, LASSO bunlardan sadece birini seçecektir. Ek olarak, > n olan problemler …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Makine öğrenimi üzerinde çalışırken bu kelimeleri gittikçe duyuyorum. Aslında, bazı insanlar denklemlerin düzenleri üzerinde çalışan Fields madalyası kazandılar. Sanırım bu, istatistiksel fizik / matematikten makine öğrenmesine kadar geçen bir terimdir. Doğal olarak, sorduğum bazı insanlar sezgisel olarak açıklayamadı. Düzenlemede bırakma yardımı gibi yöntemlerin biliyorum (=> aşırı sığmayı azalttığını söylüyorlar, ama …

12 machine-learning  self-study  terminology  regularization  definition 

Birisi beni Tikhonov Düzenlemesi (düzenli en küçük kareler) için çevrimiçi (özyinelemeli) bir algoritma yönünde gösterebilir mi? Çevrimdışı bir ayarda, λ'nın n katlama çapraz doğrulaması kullanılarak bulunduğu orijinal veri β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY kullanarak \ hat \ beta = (X ^ TX + λI) ^ {- 1} X ^ TY değerini hesaplardım λλλ. Y …

12 regression  machine-learning  least-squares  regularization  online 

Bu soruyu iki kısımda ele almak istiyorum. Her ikisi de genelleştirilmiş doğrusal bir modelle ilgilenir, ancak ilki model seçimi ile, diğeri de düzenlenme ile ilgilidir. Arka plan: Hem tahmin hem de açıklama için GLM'leri (doğrusal, lojistik, gama regresyonu) kullanıyorum. " Bir regresyon ile yapılan normal şeylere " atıfta bulunduğumda, büyük …

12 regression  model-selection  regularization 

L1 (kement) için koordinat inişi ve / veya lineer regresyon problemleri için elastik ağ düzenlenmesi ile ilgili iyi makaleler veya kitaplar var mı?

12 regression  references  lasso  regularization  elastic-net 

Sıkıştırılmış algılama olarak, bir teoremi garantisi yoktur argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc benzersiz seyrek çözelti sahip ccc (daha fazla ayrıntı için ek). Kement için benzer bir teorem var mı? Böyle bir teorem varsa, sadece kementin stabilitesini garanti etmekle kalmaz, aynı zamanda …

12 regression  self-study  feature-selection  lasso  regularization 

Negatif sırt regresyonu ile ilgili literatür arıyorum . Kısacası, tahminci formülünde negatif kullanılarak doğrusal sırt regresyonunun genelleştirilmesidir :Olumlu durum güzel bir teoriye sahiptir: bir kayıp fonksiyonu olarak, bir kısıtlama olarak, daha önce bir Bayes olarak ... ama sadece yukarıdaki formüle sahip negatif versiyonda kaybolmuş hissediyorum. Yaptığım şey için yararlı olur, …

12 regression  regularization  ridge-regression 

Bu arada LASSO (en az mutlak büzülme ve seçim operatörü) okuyorum . Düzenleme parametresi için en uygun değerin çapraz doğrulama ile seçilebildiğini görüyorum. Ben de sırt regresyonunda ve regülasyonu uygulayan birçok yöntemde görüyorum, optimal regülasyon parametresini (ceza söyleyerek) bulmak için CV'yi kullanabiliriz. Şimdi sorum parametrenin üst ve alt sınırı için …

12 lasso  regularization  shrinkage 

İnsanların fazla uymasını önlemek için insanlar , doğrusal regresyonun maliyet fonksiyonuna bir düzenleme parametresi ile bir modelleme terimi (modelin parametrelerinin kare toplamıyla orantılı) ekler λλ\lambda. Bu parametresi λλ\lambdabir lagrange çarpanı ile aynı mıdır? Düzenleme, lagrange çarpanı yöntemiyle aynı mıdır? Veya bu yöntemler nasıl bağlanır?

12 regression  optimization  regularization