Aşırı sığdırma için matematiksel / Algoritmik tanım

Aşırı uyumun matematiksel veya algoritmik bir tanımı var mı?

Genellikle verilen tanımlar, her bir noktadan geçen bir çizgi ve doğrulama kaybı eğrisinin aniden yükseldiği klasik 2-B nokta grafiğidir.

Fakat matematiksel olarak titiz bir tanım var mı?

Evet (biraz daha) titiz bir tanım var:

Bir dizi parametreye sahip bir model verildiğinde, modelin belirli sayıda eğitim adımından sonra, örnek dışı (test) hatası artmaya başlarken eğitim hatasının azalmaya devam etmesi durumunda, verilere fazla uyduğu söylenebilir.

^{Bu örnekte örnek dışı (test / validasyon) hatası ilk olarak tren hatasıyla senkronize olarak azalır, daha sonra 90. çağda, yani aşırı sığdırma başladığında artar.}

Buna bakmanın bir başka yolu, önyargı ve varyanstır. Bir model için örnekleme hatası iki bileşene ayrılabilir:

• Önyargı: Tahmini modelden beklenen değerin, gerçek modelin beklenen değerinden farklı olmasından kaynaklanan hata.
• Sapma: Modelin veri kümesindeki küçük dalgalanmalara duyarlı olması nedeniyle hata oluştu.

Aşırı takma, sapma düşük olduğunda, ancak sapma yüksek olduğunda ortaya çıkar. Gerçek (bilinmeyen) modelin bulunduğu veri kümesi için:$X$

$Y = f(X) + \epsilon$ - , ve ile veri kümesindeki indirgenemez gürültüdür , $\epsilon$$E(\epsilon)=0$$Var(\epsilon) = \sigma_{\epsilon}$

ve tahmini model:

$\hat{Y} = \hat{f}(X)$ ,

daha sonra test hatası (test veri noktası ) şu şekilde yazılabilir:$x_t$

$Err(x_t) = \sigma_{\epsilon} + Bias^2 + Variance$

ile ve $Bias^2 = E[f(x_t)- \hat{f}(x_t)]^2$$Variance = E[\hat{f}(x_t)- E[\hat{f}(x_t)]]^2$

(Açıkça söylemek gerekirse, bu ayrışma regresyon durumunda geçerlidir, ancak benzer bir ayrışma herhangi bir kayıp fonksiyonu için, yani sınıflandırma durumunda da çalışır).

Yukarıdaki tanımların her ikisi de model karmaşıklığına bağlıdır (modeldeki parametre sayısı açısından ölçülmüştür): Modelin karmaşıklığı ne kadar yüksek olursa, aşırı sığmanın gerçekleşme olasılığı o kadar yüksektir.

Konunun titiz bir matematiksel tedavisi için İstatistiksel Öğrenme Unsurları'nın 7. bölümüne bakın .

^{Önyargı-Varyans toleransı ve Varyans (yani aşırı sığdırma) model karmaşıklığıyla birlikte artmaktadır. ESL Bölüm 7'den alınmıştır}