Doğrulama kaybının artması, doğrulama doğruluğunun da artması nasıl mümkün olabilir?

CIFAR10 veri setinde basit bir sinir ağı eğitimi alıyorum. Bir süre sonra doğrulama kaybı artmaya başlarken doğrulama doğruluğu da artmaktadır. Test kaybı ve test doğruluğu gelişmeye devam ediyor.

Bu nasıl mümkün olabilir? Validasyon kaybının artması durumunda doğruluğun azalması gerektiği görülmektedir.

Not: Birkaç benzer soru var, ama kimse orada neler olduğunu açıklayamadı.

Ankur'un cevabı ve altındaki yorumdan yola çıkarak, bunun kanıtı yokken, aşağıdaki senaryonun mümkün olduğunu düşünüyorum. Aynı anda iki fenomen olabilir:

1. Sınır çizgisi tahminleri olan bazı örnekler daha iyi tahmin edilir ve böylece çıkış sınıfları değişir (örn. 0,4'te bir kedi ve 0,6'nın bir at olduğu tahmin edilen bir kedi görüntüsünün 0,4 bir atın olduğu ve 0,6'nın bir kedi olduğu tahmin edilir). Bu sayede kayıp azalırken doğruluk artar.

2. Çok kötü tahminleri olan bazı örnekler kötüye gitmeye devam ediyor (örneğin, at olarak 0,8 olarak tahmin edilen bir kedi resmi at olarak 0,9 olarak tahmin ediliyor) VE / VEYA (özellikle çok sınıf için daha muhtemel)? tahminler biraz daha kötüleşir (örneğin, bir kedi olması için 0,9 olarak tahmin edilen bir kedi görüntüsü, bir kedi olarak 0,8 olarak tahmin edilir). Bu fenomenle, doğruluk aynı kalırken kayıp artar.

Öyleyse, fenomen 2 bir noktada, birçok örnekte (örneğin, bir sebepten iyi anlaşılmayan belirli bir sınıf için) ve / veya 1'den kazandığınız zarardan daha düşük olan bir artışla başlarsa, Senaryoda kendini bul.
Bir kez daha, belki de olan bu değil, ama böyle senaryoları ortaya çıkarabilmenin bize (çapraz entropi) kayıp ve doğruluk arasındaki bazen kaygan bir ilişkiyi hatırlatması gerektiğini düşünüyorum.

Kümesinin doğruluğu sadece çapraz kontrol nasıl bağlı değildir, en yüksek SoftMax çıktı ve doğru etiketli class.It tarafından değerlendirilir yüksek SoftMax çıkıştır. Daha açık yapmak için işte bazı sayılar.

Diyelim ki 3 sınıf köpek, kedi ve at var. Bizim durumumuzda doğru sınıf at . Şimdi, softmax'ın çıktısı [0.9, 0.1]. Bu kayıp için ~ 0.37. Sınıflandırıcı bunun bir at olduğunu tahmin edecektir. Softmax çıktısının [0.6, 0.4] olduğu başka bir durumu ele alalım. Kayıp ~ 0.6. Sınıflandırıcı yine de bunun bir at olduğunu tahmin edecektir. Ancak elbette, kayıp arttı. Yani, hepsi çıktı dağılımı ile ilgili.

Ankur'un cevabından bana öyle görünüyor ki:

$\frac{correct-classes}{total-classes}$

süre

$less$

Yani...

Yüksek Doğrulama Hassasiyeti + Yüksek Kayıp Puanı - Yüksek Eğitim Hassasiyeti + Düşük Kayıp Puanı , modelin eğitim verilerine aşırı uygun olabileceğini göstermektedir.

Birçok cevap, bunun nasıl mümkün olduğunu açıklayan matematiksel hesaplamaya odaklanır. Ama neden böyle olduğunu açıklamıyorlar. Ve daha net olmak için nasıl daha fazla kazıcı önereceklerini öneremezler.

3 hipotezim var. Ve onları doğrulamak için bazı deneyler öner. Umarım bu sorunu açıklamaya yardımcı olabilir.

1. Etiket gürültülü. Val_loss minimum ve val_acc maximum olduğunda yanlış tahminleri karşılaştırın. Bu numunenin doğru etiketlenip etiketlenmediğini kontrol edin.
2. [Daha az muhtemel] Model, belli olmak için yeterli bilgi yönüne sahip değildir. Daha fazla ve daha büyük gizli katmanlarla deneme yapın.
3. [Çok vahşi bir tahmin] Bu, modelin daha uzun süre eğitilmiş olduğu belli şeyler hakkında daha az kesin olduğu bir durum. Böyle bir durum insana da olur. Birisi bir tekniği öğrenmeye başladığında, kendisine neyin iyi ya da kötü olduğunu, kesin olarak neyin kesin olduğunu söyler. Daha fazla vakadan ve örneklerden geçtiğinde, bazı sınırların daha iyi kararlar verebilse bile (daha fazla doğruluk) bulanık olabileceğini (daha az kesin, daha yüksek kayıp) fark eder. Ve sonunda, çok sayıda örnek ve deneme yanılma (daha fazla eğitim verisi) listesinden geçtikten sonra bir usta olduğunda daha emin olabilir. Bu yüzden, bu durumda, eğitim verilerine daha fazla gürültü katma denemesinin yararlı olabileceğini düşünüyorum (etiket değil).

Bu hipoteze katılmıyorsanız, bu konuda tartışmayın. Onları ispatlamak ya da yanlış ispatlamak ne olursa olsun, onları doğrulamak için deneme yapmak daha anlamlı olacaktır.