Tren ve Test Hatası Boşluğu ve Aşırı Donatmayla İlişkisi: Çatışan tavsiyeleri uzlaştırmak

Özellikle ikisi arasında bir boşluk olduğunda trenle test hatasını karşılaştırmanın nasıl ele alınacağı konusunda çelişkili tavsiyeler var gibi görünüyor. Bana göre, çatışan iki düşünce okulu var gibi. İkisini nasıl uzlaştıracağımı (veya burada eksik olanı anladığımı) arıyorum.

Düşünce # 1: Sadece tren ve test seti performansı arasındaki boşluk aşırı uyuşmayı göstermiyor

İlk olarak, (burada da tartışılmıştır: Eğitim ve test hata karşılaştırmaları aşırı uyumu nasıl gösterebilir? ), Sadece tren ve test seti arasındaki farkın fazla uyumu gösteremeyeceği fikri. Bu, örneğin, çapraz doğrulama tabanlı hiper parametre ayarlamasından sonra bile, tren ve test hatası arasındaki boşluğun biraz daha büyük kalabileceği, topluluk ağacı yöntemleri ile ilgili pratik deneyimimi kabul eder. Ancak (model türünden bağımsız olarak) doğrulama hatası geri gelmediği sürece iyidir. En azından bu düşünce.

Düşünce # 2: Tren ve test performansı arasında bir boşluk gördüğünüzde: Aşırı sığmaya karşı savaşacak şeyler yapın

Bununla birlikte, tren ve test hatası arasındaki bir boşluğun aşırı uymanın bir göstergesi olduğunu gösteren çok iyi kaynaklardan gördüğünüz tavsiyeler var. İşte bir örnek: Andrew Ng'in (fantastik bir konuşma) yaptığı "Derin Öğrenme Somunları ve Cıvataları" konuşması https://www.youtube.com/watch?v=F1ka6a13S9I 48:00 civarında bir akış şeması çiziyor "Tren seti hatanız düşükse ve tren-devri seti hatanız yüksekse, normalleştirme eklemelisiniz, daha fazla veri almalı veya model mimarisini değiştirmelisiniz" ... bunlar, aşırı takma ile mücadele etmek için gerçekleştirebileceğiniz tüm eylemlerdir.

Hangi beni ... getiriyor : Burada bir şey eksik mi? Bu modele özgü bir kural mı (genellikle daha basit modellerin tren ve test arasında daha az boşluk olduğu görülüyor)? Yoksa sadece iki farklı düşünce okulu mu var?

Bunun çelişkili bir tavsiye olduğunu düşünmüyorum. Gerçekten ilgilendiğimiz şey, eğitim ve test seti performansı arasındaki boşluğu azaltmada değil, iyi örneklem dışı performanstır. Test seti performansı örnek dışı performansı temsil ediyorsa (yani test seti yeterince büyük, kirlenmemiş ve modelimizin uygulanacağı verinin temsili bir örneğiyse), test seti Boşluğa bakılmaksızın fazla takmıyoruz.

Bununla birlikte, genellikle, büyük bir boşluk varsa, daha düzenli hale getirme / modele daha fazla önyargı getirme ile daha iyi test seti performansı elde edebileceğimizi gösterebilir. Ancak bu, daha küçük bir boşluğun daha iyi bir model olduğu anlamına gelmez; sadece eğitim ve test seti performansı arasında küçük bir boşluk varsa veya hiç boşluk kalmazsa , kesinlikle fazla uymadığımızı biliyoruz, bu nedenle modele düzenlileştirme / daha fazla önyargı eklemek yardımcı olmayacaktır.