Bu yüzden, örneğin, yüksek önyargı veya yüksek sapma ile ortaya çıkan sorunlarla karşı karşıya kaldığında oluşturmaya çalıştıkları modeli en iyi şekilde nasıl optimize edebileceğini merak ediyordum. Şimdi, elbette, tatmin edici bir sona ulaşmak için normalleştirme parametresi ile oynayabilirsiniz, ancak bunu normalleşmeye güvenmeden yapmanın mümkün olup olmadığını merak ediyordum.
Eğer b bir modelin önyargısını ve v varyansını öngörürse, b * v'yi en aza indirmeye çalışmak mantıklı olmaz mıydı?
Yanıtlar:
Önyargı ve varyansın en aza indirilmesinin birçok yolu vardır ve popüler söylemeye rağmen her zaman bir ödünleşim değildir.
İçin iki temel nedeni yüksek önyargı vardır yetersiz modeli kapasitesini ve yetersiz uyum eğitimi aşaması tamamlanmış değildi çünkü. Örneğin, çözmek için çok karmaşık bir sorununuz varsa (örn. Görüntü tanıma) ve düşük kapasiteli bir model kullanıyorsanız (örneğin doğrusal regresyon), modelin karmaşıklığını kavrayamaması nedeniyle bu modelin yüksek sapması olacaktır. sorun.
Temel nedeni yüksek varyans edilir overfitting eğitim setinde.
Bir ML modelinde hem yanlılığı hem de varyansı azaltmanın yolları vardır . Örneğin, bunu başarmanın en kolay yolu daha fazla veri almaktır (bazı durumlarda sentetik veri bile yardımcı olur).
Uygulamada yapmaya meyilli olduğumuz şey:
İlk olarak, eğitim setindeki sapmayı olabildiğince azaltmak için modelin kapasitesini artırıyoruz . Başka bir deyişle, modelin gereğinden fazla yerleştirilmesini istiyoruz (hatta eğitim setinde 0 kaybına bile ulaşıyoruz). Bu yapılır, çünkü modelin verileri yeterince anlama kapasitesine sahip olduğundan emin olmak istiyoruz .
Sonra önyargıyı azaltmaya çalışıyoruz . Bu, düzenlileştirme ile yapılır ( erken durma , norm cezaları , bırakma vb.)