Kayıp fonksiyonunun ikinci derece yaklaşımı (Derin öğrenme kitabı, 7.33)

Goodfellow'un (2016) derin öğrenme kitabında, erken durmanın L2 düzenlenmesi ile eşdeğerliğinden bahsetti ( https://www.deeplearningbook.org/contents/regularization.html sayfa 247).

Maliyet fonksiyonu $j$ dereceden yaklaşımı şu şekilde verilir:

\hat{J} (θ) = J (w^{*}) + \frac{1}{2} (w - w^{*})^{T}'H (w - w^{*})

$\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*)$

$H$

f (w + ε) = f (w) + f^{'} (w) \cdot ε + \frac{1}{2} f^{"} (w) \cdot ε^{2}

$f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2$

neural-networks deep-learning loss-functions derivative

— stevew
kaynak

Ağırlıklar hakkında optimum düzeyde konuşurlar:

Maliyet fonksiyonunu , ağırlıkların ampirik olarak optimal değerinin yakınında karesel bir yaklaşımla modelleyebiliriz $J$ $w^∗$

Bu noktada, ilk türev sıfırdır - böylece orta terim dışarıda bırakılır.

— Jan Kukacka
kaynak