Küçük veri kümesinde LSTM'nin aşırı takılmasını önleme

80 boyutlu bir word2vec benzeri temsil kullanarak 128 gizli birimleri ile tek bir katman LSTM kullanarak duygu tahmini için 15000 tweet modelleme. 1 çağdan sonra bir iniş doğruluğu (rastgele% 38 =% 20) alıyorum. Daha fazla eğitim, eğitim doğruluğu tırmanmaya başladığında doğrulama doğruluğunun azalmaya başlamasını sağlar - açık bir aşırı sığdırma işareti.

Dolayısıyla düzenli hale getirmenin yollarını düşünüyorum. Gizli birimlerin sayısını azaltmamayı tercih ederim (128 şimdiden biraz düşük görünüyor). Şu anda% 50 olasılıkla bırakma kullanıyorum, ancak bu belki artabilir. Optimize edici, Keras için varsayılan parametreleri olan Adam'dır ( http://keras.io/optimizers/#adam ).

Veri setimdeki bu model için fazla sığdırmayı azaltmanın etkili yolları nelerdir?

Deneyebilirsiniz:

• Gizli birimlerin sayısını azaltın, zaten düşük göründüğünü söylediğinizi biliyorum, ancak giriş katmanının sadece 80 özelliği olduğu göz önüne alındığında, aslında 128 çok fazla olabilir. Temel kural, gizli birimlerin sayısının, girdi birimi (80) ve çıktı sınıfı (5) sayısı arasında olması;
• Alternatif olarak, giriş gösterim alanının boyutunu 80'den fazla olacak şekilde artırabilirsiniz (ancak, gösterim herhangi bir kelime için zaten çok darsa, bu durumdan fazla olabilir).

Bir ağa uymanın iyi bir yolu, fazla takılan bir ağla başlamaktır ve daha sonra artık sığmayacak kadar kapasiteyi (gizli birimler ve gömme alanı) azaltmaktır.