«overfitting» etiketlenmiş sorular

Her şeyden önce: Biliyorum, sinir ağını eğitmek için genel bir örneklem sayısı gerekmiyor. Bu, görevin karmaşıklığı, verilerdeki gürültü vb.Gibi çok fazla faktöre bağlıdır. Ve ne kadar çok eğitim örneğim olursa, ağım o kadar iyi olur. Ama merak ediyordum: Eğer görevimin yeterince basit olduğunu varsayarsam, teorik olarak ağırlıklardan daha az eğitim …

12 neural-networks  overfitting  underdetermined 

Balıkçı testini daha iyi anlamak istedim, bu yüzden f ve m erkek ve kadına karşılık gelen ve n ve y "soda tüketimine" karşılık gelen aşağıdaki oyuncak örneğini tasarladım: > soda_gender f m n 0 5 y 5 0 Açıkçası, bu büyük bir basitleştirme, ama bağlamın önüne geçmesini istemedim. Burada sadece …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Ben uymaya çalışıyorum değerleri bimodal açık bir dağıtım var. Veriler 2 normal fonksiyon (bimodal) veya 3 normal fonksiyon ile uyumlu olabilir. Ek olarak, verilerin 3'e uyması için makul bir fiziksel neden vardır. Ne kadar çok parametre eklenirse, uyum da o kadar mükemmel olur, yeterli sabitlerde olduğu gibi, bir kişi " …

11 distributions  normal-distribution  model-selection  overfitting 

Bugün profesörümüz sınıfta "lineer sınıflandırıcılar ile aşırı uyumun mümkün olmadığını" belirtti. Yanlış olduğunu düşünüyorum, çünkü lineer sınıflandırıcılar bile eğitim setindeki aykırı değerlere duyarlı olabilir - örneğin sert bir marj alın Destek Vektör Makinesi: Tek bir gürültülü veri noktası, veri kümelerini ayırmak için hangi hiper düzlemin kullanılacağını değiştirebilir. Yoksa yanılıyor muyum? …

10 classification  overfitting 

Gördüğüm kadarıyla, bu konuda görüşler farklı. En iyi uygulama, çapraz doğrulamayı kullanmayı dikte eder (özellikle RF'leri aynı veri kümesindeki diğer algoritmalarla karşılaştırırsanız). Öte yandan, orijinal kaynak, model eğitimi sırasında OOB hatasının hesaplandığının test seti performansının bir göstergesinin yeterli olduğunu belirtir. Trevor Hastie bile, nispeten yakın tarihli bir görüşmede "Rastgele Ormanlar …

10 cross-validation  random-forest  overfitting  out-of-sample 

Rastgele ormanların geçemeyeceği bazı literatürler okudum. Bu harika gibi görünse de, gerçek olamayacak kadar iyi görünüyor. RF'lerin gereğinden fazla takılması mümkün mü?

10 random-forest  overfitting 

En küçük kareler regresyon probleminde düzenlemeyi uygulayabileceğimizi anlıyorum. w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] ve bu sorunun şu şekilde kapalı bir çözümü olduğunu: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. 2. denklemde, düzenlileştirmenin, matris tersinin sayısal kararlılığını geliştirmek için yapılan \ boldsymbol {X} ^ T \ boldsymbol {X} ' un köşegenine …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Doygun bir modelin ne olduğunu anlamaya çalışıyorum. AFAIK, gözlemler kadar çok özelliğiniz olduğunda. Doymuş bir modelin aşırı donanımlı bir modelin özel bir durumu olduğunu söyleyebilir miyiz?

10 overfitting 

Aşırı takmaya neden olmaz mı? Analizin bir parçası olarak bir jack-knife veya bootstrap prosedürü eklersem sonuçlarım daha güvenilir olur mu?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

Performansını geri test etmek istediğim bazı öngörülü modellerim var (yani, veri setimi al, önceki bir noktaya "geri sar" ve modelin prospektif olarak nasıl performans göstereceğini görüyorum). Sorun şu ki, bazı modellerim etkileşimli bir süreçle oluşturuldu. Örneğin, Frank Harrell'in Regresyon Modelleme Stratejilerindeki tavsiyeyi takiben, bir modelde, özellikler ve yanıt arasındaki olası …

9 cross-validation  modeling  outliers  splines  overfitting