Pratikte “Saddle-Free Newton” iniş algoritması kullanılmıyor?

Son zamanlarda Yann Dauphin ve ark. Saddle-Free Newton adında ilginç bir iniş algoritması getirdikleri, yüksek boyutlu dışbükey olmayan optimizasyonda eyer noktası problemini tanımlama ve saldırı , bu da sinir ağı optimizasyonu için tam olarak uyarlanmış gibi görünür ve eyer noktalarında sıkışmaktan muzdarip olmamalıdır vanilya SGD gibi birinci dereceden yöntemler gibi.

Kağıt 2014 yılına dayanıyor, bu yüzden yepyeni bir şey değil, ancak "vahşi doğada" kullanıldığını görmedim. Bu yöntem neden kullanılmıyor? Hessian hesaplaması gerçek boyutlardaki problemler / ağlar için fazla yasaklayıcı mı? Bu algoritmanın muhtemelen bazı derin derin öğrenme çerçevelerinde kullanılabilecek bazı açık kaynak uygulamaları var mı?

Şubat 2019'u güncelleyin: şimdi bir uygulama var: https://github.com/dave-fernandes/SaddleFreeOptimizer )

Daha iyi optimizasyon mutlaka daha iyi bir model anlamına gelmez. Sonunda önemsediğimiz, modelin ne kadar iyi genelleştirildiği ve eğitim setindeki performansın ne kadar iyi olduğu değil. Daha zengin optimizasyon teknikleri genellikle daha iyi performans gösterir ve eğitim setinde daha hızlı birleşir, ancak temel algoritmaların yanı sıra her zaman genellemez. Örneğin bu makale SGD'nin ADAM optimize edicisinden daha iyi genelleme yapabileceğini göstermektedir. Bu, bazı ikinci derece optimizasyon algoritmalarında da geçerli olabilir.

[Düzenle] Burada uygulanmadığı için ilk nokta kaldırıldı. Bayerj'e bunu işaret ettiği için teşekkürler.