Minibatch gradyan inişi, bir toplu işteki her örnek için ağırlıkları nasıl günceller?

Bir partide 10 örnek söylersek, her örnek için kaybı toplayabileceğimizi anlıyorum, ancak backpropagation her örnek için ağırlıkların güncellenmesinde nasıl çalışır?

Örneğin:

• Örnek 1 -> kayıp = 2
• Örnek 2 -> kayıp = -2

Bu ortalama 0 (E = 0) kaybıyla sonuçlanır, bu yüzden bu her bir ağırlığı nasıl güncelleyip birleşir? Er ya da geç yakınlaştığımız “umarım” partilerin randomizasyonu ile mi? Ayrıca, bu yalnızca işlenen son örnek için ilk ağırlık kümesinin gradyanını hesaplamaz mı?

Degrade iniş, önerdiğiniz şekilde çalışmaz, ancak benzer bir sorun ortaya çıkabilir.

Toplu işten ortalama kaybı hesaplamıyoruz, kayıp fonksiyonunun ortalama gradyanlarını hesaplıyoruz. Degradeler, ağırlığa göre kaybın türevidir ve bir nöral ağda bir ağırlık için gradyan, bu spesifik örneğin girişlerine bağlıdır ve aynı zamanda modeldeki diğer birçok ağırlığa da bağlıdır.

Modelinizde 5 ağırlık varsa ve mini parti boyutu 2 ise, bunu alabilirsiniz:

Örnek 1. Kayıp = 2,$\text{gradients}=(1.5,-2.0,1.1,0.4,-0.9)$

Örnek 2. Kayıp = 3,$\text{gradients}=(1.2,2.3,-1.1,-0.8,-0.7)$

Bu mini partideki degradelerin ortalaması hesaplanır, bunlar$(1.35,0.15,0,-0.2,-0.8)$

Birkaç örnek üzerinde ortalama almanın yararı, gradyandaki varyasyonun daha düşük olmasıdır, böylece öğrenme daha tutarlı ve bir örneğin özelliklerine daha az bağımlıdır. Üçüncü ağırlık için ortalama gradyanın olduğuna dikkat edin , bu ağırlık bu ağırlık güncellemesini değiştirmeyecektir, ancak seçilen farklı örneklerle hesaplanan sonraki örnekler için muhtemelen sıfır olmayacaktır.$0$

yorumlara yanıt olarak düzenle:

Yukarıdaki örneğimde, degradelerin ortalaması hesaplanmıştır. Her örnek için kaybını hesapladığımız küçük bir parti büyüklüğü için ve ağırlığına göre kaybın ortalama derecesini elde etmeyi .L i w $k$$L_i$$w_j$

yazdığım şekliyle her gradyanı ortaladım:$\frac{\partial L}{\partial w_j} = \frac{1}{k} \sum_{i=1}^{k} \frac{\partial L_i}{\partial w_j}$

Yorumlarda bağlandığınız öğretici kod, ortalama kaybı en aza indirmek için Tensorflow'u kullanır.

Tensorflow L_i'yi en aza indirmeyi hedefliyor$\frac{1}{k} \sum_{i=1}^{k} L_i$

Bunu en aza indirmek için, her bir ağırlığa göre ortalama kaybın gradyanlarını hesaplar ve ağırlıkları güncellemek için degrade iniş kullanır:

$\frac{\partial L}{\partial w_j} = \frac{\partial }{\partial w_j} \frac{1}{k} \sum_{i=1}^{k} L_i$

Farklılaşma toplamın içine getirilebilir, böylece benim örneğimdeki yaklaşımdan ifade ile aynıdır.

$\frac{\partial }{\partial w_j} \frac{1}{k} \sum_{i=1}^{k} L_i = \frac{1}{k} \sum_{i=1}^{k} \frac{\partial L_i}{\partial w_j}$

Mini partileri kullanmanın nedeni, etkilerinin ortalamasını alarak olası gürültüsünü azaltacak şekilde iyi bir eğitim örneğine sahip olmaktır, ancak aynı zamanda birçok veri seti için büyük miktarda bellek gerektirebilecek tam bir parti değildir. Önemli bir gerçek, değerlendirdiğiniz hatanın her zaman bir mesafe olmasıdır.tahmin edilen çıktı ile gerçek çıktı arasında: bu negatif olamaz, yani dediğin gibi, iptal eden 2 ve -2 hatalarına sahip olamazsınız, bunun yerine 4 hatası olur. Daha sonra hatanın eğimini tüm ağırlıklara göre değerlendirirsiniz, böylece ağırlıklardaki hangi değişikliğin onu en fazla azaltacağını hesaplayabilirsiniz. Bunu yaptıktan sonra, öğrenme oranınızın alfa büyüklüğüne göre bu yönde bir "adım" atarsınız. (Bu temel kavramlar, derin NN için geri yayılım hakkında ayrıntıya girmiyorum) Bu eğitimi belirli sayıda dönem için veri kümenizde çalıştırdıktan sonra, öğrenme adımınız çok büyük değilse ağınızın birleşmesini bekleyebilirsiniz. ayrıştırma. Yine de yerel bir minimumda olabilirsiniz, ağırlıklarınızı farklı şekilde başlatarak, farklı optimizatörleri kullanarak ve düzenli hale getirmeye çalışarak bu önlenebilir.