«ridge-regression» etiketlenmiş sorular

Önceden yeterince seçilmişse sırt regresyonunun posterior dağılımın ortalaması olarak türetilebileceğini duydum. Öncekine göre regresyon katsayıları üzerinde belirlenen kısıtlamaların (örneğin, 0 civarında standart normal dağılımlar) sezgisi aynı mı / katsayıların kare büyüklüğünde ayarlanan cezayı değiştiriyor mu? Bu denkliğin elde edilebilmesi için öncekinin Gauss olması gerekir mi?

15 bayesian  prior  ridge-regression 

"İstatistiksel Öğrenmenin Unsurları" (2. baskı), s63'te, yazarlar sırt regresyon probleminin aşağıdaki iki formülasyonunu verirler: β^r i dge= argminβ{ ∑i = 1N-( yben- β0- ∑j = 1pxben jβj)2+ λ ∑j = 1pβ2j}β^rbendge=argminβ{Σben=1N-(yben-β0-Σj=1pxbenjβj)2+λΣj=1pβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} ve β^r i dge= argminβΣi = 1N-( …

15 ridge-regression 

İstatistiksel öğrenmede en popüler kitapları okudum 1- İstatistiksel öğrenmenin öğeleri. 2- İstatistiksel öğrenmeye giriş . Her ikisi de sırt regresyonunun eşdeğer iki formüle sahip olduğunu belirtiyor. Bu sonucun anlaşılabilir bir matematiksel kanıtı var mı? Ben de Cross Validated geçtim, ama orada kesin bir kanıt bulamıyorum. Dahası, LASSO da aynı kanıt …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Sırt regresyonunu çalıştırırken, karşılık gelen katsayılardan daha büyük olan katsayıları en küçük kareler altında nasıl yorumluyorsunuz (belirli değerleri için )? Sırt regresyonunun monoton olarak küçülen katsayıları olması gerekmez mi?λλ\lambda İlgili bir notta, sırt gerilemesi sırasında işareti değişen bir katsayı nasıl yorumlanır (yani sırt izi, bir sırt izi grafiğinde negatiften pozitife …

14 interpretation  regression-coefficients  ridge-regression 

Sırt regresyonunda, minimize edilecek objektif fonksiyon: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Bu, Lagrange çarpanı yöntemi kullanılarak optimize edilebilir mi? Yoksa düz bir ayrım mı?

14 regression  regularization  ridge-regression 

Genel anlayışım AIC , modelin uyum iyiliği ile modelin karmaşıklığı arasındaki dengeyi ele alıyor. AIC=2k−2ln(L)AIC=2k−2ln(L)AIC =2k -2ln(L) = modeldeki parametre sayısıkkk = olabilirlikLLL Bayes bilgi kriteri BIC , AIC ile yakından ilişkilidir.AIC, parametre sayısını BIC'den daha az cezalandırır. Bu ikisinin tarihsel olarak her yerde kullanıldığını görebiliyorum. Ancak genelleştirilmiş çapraz doğrulama …

14 cross-validation  lasso  aic  ridge-regression  bic 

Sırt regresyonunu öğreniyorum ve sırt regresyonunun çok doğrusallık varlığında daha iyi çalışma eğiliminde olduğunu biliyorum. Bunun neden doğru olduğunu merak ediyorum? Sezgisel veya matematiksel bir cevap tatmin edici olacaktır (her iki cevap türü de daha tatmin edici olacaktır). Ayrıca, bu biliyoruz β her zaman elde edilebilir, ama ne kadar iyi …

14 multicollinearity  ridge-regression 

Bir sırt regresyon modelinin AICc'sini hesaplamak istiyorum. Sorun parametre sayısıdır. Doğrusal regresyon için, çoğu insan parametre sayısının tahmini katsayı sayısına artı sigma'ya (hatanın varyansı) eşit olduğunu önerir. Sırt regresyonu söz konusu olduğunda, şapka matrisinin izinin - özgürlük derecesi (df) - sadece AIC formülünde (örneğin burada veya burada ) parametre sayısı …

13 regression  aic  ridge-regression  degrees-of-freedom 

Aşağıdaki kod ile R 'lars' paketini kullanıyorum: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <- …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Sırt regresyonu ve LASSO'nun artıları ve eksileri hakkında zaten bir fikrim var. LASSO için, L1 ceza süresi, bir özellik seçim yöntemi olarak görülebilen seyrek bir katsayı vektörü verecektir. Bununla birlikte, LASSO için bazı sınırlamalar vardır. Özelliklerin yüksek korelasyonu varsa, LASSO bunlardan sadece birini seçecektir. Ek olarak, > n olan problemler …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Sırtı regresyonunun, her veri bağımlı değişkenler için 0 ve bağımsız değişkenler için kkk veya sıfırın kare kökü kullanılarak oluşturulduğu orijinal veri matrisine veri satırları eklenerek elde edilebileceğini okudum . Daha sonra her bağımsız değişken için bir satır eklenir. Lojistik regresyon veya diğer GLM'ler de dahil olmak üzere tüm vakalar için …

12 logistic  generalized-linear-model  ridge-regression 

Referanslarına göre Kitap 1 , Kitap 2 ve kağıt . Düzenli regresyon (Ridge, LASSO ve Elastik Ağ) ile bunların kısıtlayıcı formülleri arasında bir denklik olduğu belirtilmiştir. Ayrıca Çapraz Doğrulanmış 1 ve Çapraz Doğrulanmış 2'ye de baktım , ancak denklik veya mantığı gösteren net bir cevap göremiyorum. Sorum şu Karush – …

12 regression  optimization  lasso  ridge-regression  elastic-net 

Negatif sırt regresyonu ile ilgili literatür arıyorum . Kısacası, tahminci formülünde negatif kullanılarak doğrusal sırt regresyonunun genelleştirilmesidir :Olumlu durum güzel bir teoriye sahiptir: bir kayıp fonksiyonu olarak, bir kısıtlama olarak, daha önce bir Bayes olarak ... ama sadece yukarıdaki formüle sahip negatif versiyonda kaybolmuş hissediyorum. Yaptığım şey için yararlı olur, …

12 regression  regularization  ridge-regression 

Bu yazı bunu takip ediyor: Çapraz tahmin, diyagonal bir sabit ekleyerek neden OLS'den daha iyi hale geliyor? İşte sorum: Bildiğim kadarıyla, sırt düzenlenmesi normu (öklid mesafesi) kullanır. Ama neden bu normun karesini kullanıyoruz? ( doğrudan uygulanması , beta kare toplamının kare kökü ile sonuçlanır).ℓ 2ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 Bir karşılaştırma olarak, bunu düzenlemek …

12 lasso  regularization  ridge-regression 

Hem Kement hem de Ridge ile bir regresyon modeli kullanıyorum (0-5 arasında değişen ayrı bir sonuç değişkenini tahmin etmek için). Modeli çalıştırmadan önce, kullandığım SelectKBestyöntemi scikit-learngelen özellik kümesi azaltmak için 250 ile 25 . İlk özellik seçimi olmadan, hem Kement hem de Ridge daha düşük doğruluk puanlarına neden olur [bu, …

11 regression  predictive-models  feature-selection  lasso  ridge-regression