Şu anda, stokastik gradyan tabanlı yöntemler hemen hemen her zaman derin öğrenme için tercih edilen bir algoritmadır. Bu, verilerin gruplar halinde geldiği, gradyanların hesaplandığı ve parametrelerin güncellendiği anlamına gelir. Bu, her parti seçiliyken veri üzerindeki kaybı da hesaplayabileceğiniz anlamına gelir. Bu çerçevede, iki yolu vardır nasıl kaybı ben antrenman hata doğrulama hatası büyükse bu fenomenin yol açabilir düsünebilirz hesaplanır. Aşağıda, Keras'ın aslında örnek içi hataları bu yollarla hesapladığını gösteriyor.
1.) Eğitim hatası, tüm dönemin ortalamasıdır, daha ziyade dönemin sonunda bir kerede, ancak doğrulama hatası yalnızca dönemin sonundadır. Doğrulama hatasının tamamen güncellenme avantajına sahip olduğuna dikkat edin, eğitim hatası daha az güncellemeyle hata hesaplamaları içerir. Elbette, asimptotik olarak bu etki genellikle ortadan kaybolmalıdır.
2.) Toplu güncelleme yapılmadan önce eğitim hatası hesaplanır . Stokastik degrade tabanlı bir yöntemde, degradede bir miktar gürültü var. Biri bir tepeye tırmanırken, tüm eğitim örneklerinden hesaplanan küresel zararı azaltma ihtimali yüksek. Bir modda çok yakın aldığında Ancak, güncelleme yönü numunelerine göre negatif olacaktır içinde senin toplu. Biz moda etrafında zıplayan çünkü Ama bunun anlamı , ortalama olarak biz numuneler açısından olumlu bir yönü seçerek gerekir dışarıToplu Şimdi, belirli bir partideki numunelere göre güncelleme yapmak üzereysek, bu, dahil edilmemiş potansiyel olarak pek çok toplu güncelleme tarafından itildikleri anlamına gelir, güncelleme öncesinde kayıplarını hesaplayarak bu, stokastik durumdur. Yöntemler, parametreleri veri kümenizdeki diğer örneklerden en çok lehine itti, bu nedenle bize beklenen zararla ilgili küçük bir artış eğilimi sağladı.
Asimptotik olarak (1) 'in etkisinin ortadan kalktığını, (2)' nin olmadığını unutmayın! Aşağıda Keras'ın hem (1) hem de (2) göründüğünü gösteriyorum.
(1) Sonunda bir kerede değil, her bir partide ortalamaların ortalama olduğunu göstermek. İlk dönemde, val_accuracy lehine val_accuracy lehine BÜYÜK farklılık farkına dikkat edin. Bunun nedeni, bazı örnek hataların çok az sayıda toplu güncellemeyle hesaplanmasıdır.
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = 100,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 8s 176us/sample
- loss: 0.2320 - accuracy: 0.9216
- val_loss: 0.1581 - val_accuracy: 0.9636
Epoch 2/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1487 - accuracy: 0.9662
- val_loss: 0.1545 - val_accuracy: 0.9677
Epoch 3/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1471 - accuracy: 0.9687
- val_loss: 0.1424 - val_accuracy: 0.9699
<tensorflow.python.keras.callbacks.History object at 0x17070d080>
(2) Her parti için güncellemeden önce hata gösteriliyor . Çağ 1 için, kullandığımız zaman batch_size = nRows(yani, bir partideki tüm veriler), örnek içi hatanın çağ 1 için yaklaşık 0.5 (rastgele tahmin) olduğunu, ancak doğrulama hatasının 0.82 olduğunu unutmayın. Bu nedenle, parti içi güncellemeden önce numune içi hata hesaplanırken , doğrulama hatası toplu güncellemeden sonra hesaplanır .
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = nRows,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 9s 201us/sample
- loss: 0.7126 - accuracy: 0.5088
- val_loss: 0.5779 - val_accuracy: 0.8191
Epoch 2/3
46580/46580 [==============================] - 6s 136us/sample
- loss: 0.5770 - accuracy: 0.8211
- val_loss: 0.4940 - val_accuracy: 0.8249
Epoch 3/3
46580/46580 [==============================] - 6s 120us/sample
- loss: 0.4921 - accuracy: 0.8268
- val_loss: 0.4502 - val_accuracy: 0.8249