İkinci dereceden türevler dışbükey optimizasyonda neden yararlıdır?

Sanırım bu temel bir soru ve degradenin kendisinin yönü ile ilgili, ama 2. dereceden yöntemleri (örneğin BFGS ) basit degrade iniş daha etkili olduğu örnekleri arıyorum .

Hem degrade inişi hem de Newton'un yöntemini yorumlamak için ortak bir çerçeve var, bu da farkı @ Sycorax'ın cevabına ek olarak düşünmenin yararlı bir yolu olabilir. (BFGS, Newton'un yöntemine yaklaşıyor; özellikle burada bahsetmeyeceğim.)

işlevini en aza $f$ , ancak bunu doğrudan nasıl yapacağımızı bilmiyoruz. Bunun yerine, şu andaki noktasında yerel bir yaklaşım alıyoruz $x$ve bunu en aza indiriyoruz.

Newton yöntemi ikinci derece Taylor genişletmesi kullanarak işleve yaklaşır: ∇ f ( x ) eğimi gösterir f noktasında X ve ∇ 2 f ( x ) en Hessian x . Daha sonra, bu adım arg dakika y K x ( y ) ve tekrarlar.

$$f(y) \approx N_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y - x)^T \, \nabla^2 f(x) \, (y - x) ,$$ $\nabla f(x)$$f$$x$$\nabla^2 f(x)$$x$$\arg\min_y N_x(y)$

Hessen'e değil, sadece eğime sahip olan gradyan inişi sadece birinci dereceden bir yaklaşım yapıp bunu en aza indiremez, çünkü @Hurkyl'in belirttiği gibi minimum yoktur. Bunun yerine, adım boyutunu ve adım adım x - t ∇ f ( x ) olarak tanımlarız . Ama unutmayın ki x - $t$$x - t \nabla f(x)$ Böylece gradyan inişiGx(y)fonksiyonunu en aza indirir :=f(x)+∇f(x)T(y-x)+

$$\begin{align} x - t \,\nabla f(x) &= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac{1}{2 t} \lVert y - x \rVert^2\right] \\&= \arg\max_y \left[f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x)\right] .\end{align}$$ $$G_x(y) := f(x) + \nabla f(x)^T (y - x) + \tfrac12 (y-x)^T \tfrac{1}{t} I (y - x).$$

Bu nedenle gradyan inişi Newton'un yöntemini kullanmak gibidir, ancak ikinci dereceden Taylor genişlemesini almak yerine Hessian'ın 1 olduğunu iddia ederiz.. BuGgenelliklef'denN'yegöreçok daha kötü bir yaklaşımdırve bu nedenle degrade inişi genellikle Newton'un yönteminden çok daha kötü adımlar atar. Elbette bu, gradyan inişinin her adımı hesaplamak için Newton yönteminin her adımından çok daha ucuz olmasıyla dengelenir. Hangisi daha iyi, tamamen sorunun doğasına, hesaplama kaynaklarınıza ve doğruluk gereksinimlerinize bağlıdır.$\tfrac1t I$$G$$f$$N$

@ Sycorax'ın ikinci dereceden f ( x ) = 1'i en aza indirme örneğine bakıldığında

$$f(x) = \tfrac12 x^T A x + d^T x + c$$

$N = f$

$$G_x(y) = f(x) + (A x + d)^T y + \tfrac12 (x - y)^T \tfrac1t I (x-y)$$ $x$$A$

Esasen, Newton'un yöntemi gibi ikinci bir türev yönteminin avantajı, ikinci dereceden sonlandırma kalitesine sahip olmasıdır. Bu, sonlu sayıda adımda ikinci dereceden bir işlevi en aza indirebileceği anlamına gelir. Degrade iniş gibi bir yöntem büyük ölçüde öğrenme hızına bağlıdır, bu da optimizasyonun optimumda sıçradığı için yavaşça yakınlaşmasına veya tamamen ayrılmasına neden olabilir. Kararlı öğrenme oranları bulunabilir ... ancak kendir hesaplamayı içerir. Sabit bir öğrenme oranı kullanırken bile, optimum etrafında salınım gibi sorunlarınız olabilir, yani her zaman minimum seviyeye doğru "doğrudan" veya "verimli" bir yol izlemezsiniz. O sonlandırmak için pek çok tekrar alabilir Yani bilegöreceli olarak ona yakınsınız. BFGS ve Newton yöntemi, her adımın hesaplama çabası daha pahalı olsa da daha hızlı bir şekilde birleşebilir.

Örnek talepleriniz için: Diyelim ki objektif fonksiyonunuz var

$$F(x)=\frac{1}{2}x^TAx+d^Tx+c$$ $$\nabla F(x)=Ax+d$$ $$x_{k+1}= x_k-\alpha(Ax_k+d) = (I-\alpha A)x_k-\alpha d.$$

$I-\alpha A$

$$\alpha<\frac{2}{\lambda_{max}},$$ $\lambda_{max}$$A$$A$$A$

Sinir ağlarının özel bağlamında, Sinir Ağ Tasarımı kitabı sayısal optimizasyon yöntemleri hakkında oldukça fazla bilgiye sahiptir. Yukarıdaki tartışma 9-7 bölümünün yoğunlaştırılmasıdır.

$$f(x)=c+\beta x + \alpha x^2$$

$$\partial^2 f(x)/\partial x^2=2\alpha$$

$$\text{guess}=-\frac{\beta}{2\alpha}$$

Çok değişkenli durum çok benzerdir, sadece türevler için degradeler kullanın.

@Dougal zaten harika bir teknik cevap verdi.

Matematiksel olmayan açıklama, doğrusal (sıra 1) yaklaşımı, bir hata yüzeyindeki bir noktaya teğet olan bir "düzlem" sağlarken, kuadratik yaklaşım (sıra 2), hata yüzeyinin eğriliğine sarılan bir yüzey sağlar.

Bu bağlantıdaki videolar, bu kavramı görselleştirmek için harika bir iş çıkarıyor. Fonksiyon yüzeyine sıra 0, sıra 1 ve sıra 2 yaklaşımlarını gösterirler, bu da diğer cevapların matematiksel olarak ne sunduğunu sezgisel olarak doğrular.

Ayrıca, konu hakkında iyi bir blog yazısı (sinir ağlarına uygulanır) burada .