«regularization» etiketlenmiş sorular

Çıkıntı regresyonunu, nin birim kareler toplamına sahip olmasını gerektiren ek bir kısıtlama ile düşünün (eşdeğerde birim sapma); Gerekirse, kişi birim toplamı da olduğu varsayılabilir :y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* ne zaman \ lambda \ to \ infty sınırı …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Bir tür düzenli tahminler kullanarak bazı yüksek boyutlu verilerden çok sayıda parametre tahmin etmeye çalıştığımı varsayalım. Düzenleyici, tahminlere bir miktar önyargı getirir, ancak varyanstaki düşüşün telafi etmekten daha fazla olması gerektiği için hala iyi bir denge olabilir. Sorun, güven aralıklarını tahmin etmek istediğimde ortaya çıkıyor (örn. Laplace yaklaşımı veya önyükleme …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Sırt regresyonunun katsayıları nasıl geometrik olarak sıfıra indirdiğini anladım. Üstelik bunu özel "Ortonormal Durum" da nasıl kanıtlayacağımı biliyorum ama bunun genel vakada "Spektral ayrışma" yoluyla nasıl çalıştığı konusunda kafam karıştı.

20 regression  multiple-regression  regularization  ridge-regression  svd 

İstatistiksel bir öğrenme algoritması çalıştırmadan önce özellik seçim yöntemlerini (Rastgele ormanlar önem değeri veya Tek değişkenli özellik seçim yöntemleri vb.) Kullanmayla ilgili bir sorum var. Aşırı kilo vermekten kaçındığımızı biliyoruz, ağırlık vektörleri üzerinde düzenleyici ceza verebiliriz. Eğer lineer regresyon yapmak istersem, o zaman L2 veya L1 hatta Elastik ağ regülasyon …

20 regression  machine-learning  feature-selection  lasso  regularization 

C-SVC modunda libsvm'yi derece 2 polinom çekirdeği ile kullanıyorum ve birden fazla SVM eğitmem gerekiyor. Her eğitim setinde 10 özellik ve 5000 vektör bulunur. Eğitim sırasında, eğittiğim SVM'lerin çoğu için bu uyarıyı alıyorum: WARNING: reaching max number of iterations optimization finished, #iter = 10000000 Birisi bu uyarının ne anlama geldiğini …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Regresyonda düzenlileştirme (doğrusal, lojistik ...) aşırı uyumu azaltmanın en popüler yoludur. Hedef tahmin doğruluğu olduğunda (açıklamıyorsa), özellikle büyük veri kümeleri (mil / milyarlarca gözlem ve milyonlarca özellik) için düzenli hale getirmenin iyi alternatifleri var mı?

19 regression  regularization  overfitting 

Tahmin veya tahminle değil, yalnızca model parametrelerini tahmin etmek (ve yorumlamak) ile ilgileniyorsak, düzenlileştirme yardımcı olabilir mi? Amacınız yeni veriler üzerinde iyi tahminler yapmaksa, normalleştirme / çapraz doğrulamanın son derece yararlı olduğunu görüyorum. Peki ya geleneksel ekonomi yapıyorsanız ve tek umduğunuz şey tahmin etmek ? Çapraz doğrulama da bu bağlamda …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

Web'de bir yerde sırt regresyonu ( düzenlenmesi ile) ve PCA regresyonu arasında bir bağlantı okuduğumu hatırlıyorum : hiperparametre ile düzenli regresyon kullanırken , , regresyon, En küçük özdeğerli PC değişkeni.ℓ 2 λ λ → 0ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to 0 Bu neden doğru? Bunun optimizasyon prosedürüyle ilgisi var mı? Saf bir şekilde, bunun …

19 regression  pca  regularization  ridge-regression 

Bir cezası olan lineer regresyonun , katsayılardan önce bir Gaussian verilen MAP tahminini bulmaya eşdeğer olduğu iyi bilinmektedir . Benzer şekilde, bir cezası kullanmak, daha önce olduğu gibi bir Laplace dağılımı kullanmaya eşdeğerdir.l2l2l^2l1l1l^1 ve normalleştirmesinin bazı ağırlıklı kombinasyonlarını kullanmak nadir değildir . Bunun katsayılar üzerindeki önceki dağılımlara eşdeğer olduğunu söyleyebilir …

18 regression  bayesian  regularization  prior  elastic-net 

Bir dizi 150 özelliğim var ve bunların birçoğu birbiriyle yüksek derecede korelasyonlu. Amacım aralığı 1-8 olan ayrık bir değişkenin değerini tahmin etmektir . Örneklem boyutum 550 ve 10 kat çapraz doğrulama kullanıyorum. AFAIK, düzenlileştirme yöntemleri (Kement, Elastik Ağ ve Sırt) arasında Ridge, özellikler arasındaki korelasyon için daha titizdir. Bu yüzden …

18 regression  lasso  regularization  ridge-regression  elastic-net 

Bırakmayı açıklayacak yarım sayfanız varsa , nasıl ilerlersiniz? Bu tekniğin arkasındaki mantık hangisidir?

17 neural-networks  deep-learning  regularization  dropout 

Bishop'un "Örüntü Sınıflandırma ve Makine Öğrenimi" kitabında, sinir ağları bağlamında düzenlileştirme tekniğini açıklar. Ancak, eğitim sürecinde, modelin karmaşıklığıyla birlikte serbestlik derecelerinin arttığını açıklayan bir paragraf anlamıyorum. İlgili teklif şudur: Bir ağın etkili karmaşıklığını kontrol etmenin bir yolu olarak düzenlileştirmeye bir alternatif, erken durdurma prosedürüdür. Doğrusal olmayan ağ modellerinin eğitimi, bir …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Robby McKilliam bu yazının yorumunda şöyle diyor : Sıkça görülenler açısından, önceki bilgiyi modele dahil edememeniz için hiçbir neden olmadığı belirtilmelidir. Bu anlamda, sık görüş daha basittir, sadece bir modeliniz ve bazı verileriniz vardır. Önceki bilgileri modelden ayırmaya gerek yoktur Ayrıca, burada , @jbowman, sıkıcıların maliyet / ceza işleviyle düzenlemeyi …

17 bayesian  prior  regularization  frequentist 

Biz veri kümesi ile başlar , buna Lasso uygulanır ve bir çözelti elde etmek β L , Veri kümesi için tekrar Lasso uygulayabilir ( X S , Y ) , S sıfır olmayan kümesidir indeksleri β L , bir çözüm elde etmek için β R L olarak adlandırılan 'rahat Kement' …

16 regression  optimization  lasso  regularization  shrinkage 

Kement veya sırt regresyonunda, kişi genellikle veya α olarak adlandırılan bir büzülme parametresi belirtmelidir . Bu değer, genellikle en iyi, örneğin verir eğitim verileri ve görme farklı değerlerin bir grup kontrol çapraz doğrulama yoluyla seçilir R 2 test verileri ile. Kişinin kontrol etmesi gereken değer aralığı nedir? Öyle mi ( …

16 regression  lasso  regularization  ridge-regression  penalized