SVM modelinden bir öğrenme eğrisinin önyargı veya varyanstan muzdarip olup olmadığını nasıl bilebilirim?

Bu öğrenme eğrisini oluşturdum ve SVM modelimin önyargı veya varyanstan muzdarip olup olmadığını bilmek istiyorum? Bunu bu grafikten nasıl çıkarabilirim?

Bölüm 1: Öğrenme eğrisi nasıl okunur

İlk olarak, değerlendirme için yeterli verinin bulunduğu arsanın sağ tarafına odaklanmalıyız.

• Eğer iki eğri "birbirine yakın" ise ve her ikisi de düşük bir puana sahipse. Model, uygun olmayan bir sorundan muzdariptir (Yüksek Eğilim)

• Eğitim eğrisi çok daha iyi bir skora sahipse de test eğrisi daha düşük bir skora sahipse, yani iki eğri arasında büyük boşluklar vardır. Sonra model aşırı uydurma probleminden muzdariptir (Yüksek Varyans)

Bölüm 2: Verdiğiniz arsa için değerlendirmem

Arsadan, modelin iyi olup olmadığını söylemek zor. Gerçekten "kolay bir probleminiz" olabilir, iyi bir model% 90'a ulaşabilir. Öte yandan, yapabileceğimiz en iyi şeyin% 70'e ulaşmak olduğu konusunda gerçekten “zor bir probleminiz” olabilir. (Puanın 1 olduğunu söyleyerek mükemmel bir modele sahip olmanızı beklemeyebileceğinizi unutmayın. Verilerinizde ne kadar elde edebileceğiniz, verilerinizde ne kadar gürültüye bağlı olduğunu varsayalım. Verilerinizin çok sayıda veri noktasının EXACT özelliği ancak farklı etiketleri olduğunu varsayalım, ne yaparsanız yapın, 1 puan kazanamazsınız.)

Örneğinizdeki bir diğer sorun da, gerçek dünya uygulamasında 350 örneğin çok küçük görünmesidir.

Bölüm 3: Diğer öneriler

Daha iyi bir anlayış elde etmek için, aşırı uydurma altında deneyimlemek ve öğrenme eğrisinde neler olacağını gözlemlemek için aşağıdaki deneyleri yapabilirsiniz.

• MNIST verileri gibi çok karmaşık bir veri seçin ve basit bir modele uyun, bir özellikli doğrusal model deyin.

• SVM gibi basit bir veri, örneğin iris verisi gibi bir karmaşıklık modeline uyun.

Bölüm 4: Diğer örnekler

Buna ek olarak, alt montaj ve aşırı montaj ile ilgili iki örnek vereceğim. Bunun öğrenme eğrisi olmadığını, ancak daha fazla yinelemenin aşırı takılma şansının daha fazla olacağı gradyan artırıcı modeldeki yineleme sayısına göre performansa dikkat edin . X ekseni yineleme sayısını gösterir ve y ekseni, ROC Altında Negatif Alan olan performansı gösterir (ne kadar düşükse o kadar iyidir.)

Sol alt parsel, aşırı montajdan (performans oldukça iyi olduğu için de uygun olmayan) iyi değil, ancak doğru sayıda, yineleme sayısı fazla olduğunda aşırı montajdan muzdariptir.