Degrade iniş ve eşlenik degrade iniş

Bir proje için, bu iki yöntemi uygulamam ve farklı işlevler üzerindeki performanslarını karşılaştırmam gerekiyor.

Görünüşe göre konjügat gradyan yöntemi için lineer denklem sistemleri çözmek için kastedilmektedir

$$A\mathbf{x} = \mathbf{b}$$

Burada $A$ simetrik, pozitif-kesin ve gerçek n-by-n bir matristir.

Öte yandan, gradyan inişini okuduğumda , Rosenbrock işlevi örneğini görüyorum ,

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

Gördüğüm gibi, bunu bir eşlenik gradyan yöntemiyle çözemiyorum. Yoksa bir şey mi özledim?

Gradyan inişi ve konjüge gradyan yöntemi, doğrusal olmayan fonksiyonları, yani Rosenbrock fonksiyonu gibi fonksiyonları en aza indirmek için algoritmalardır.

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

veya çok değişkenli kuadratik fonksiyon (bu durumda simetrik kuadratik terim ile)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

Her iki yöntem de bir başlangıç ​​tahmininden başlar, ve sonra formun bir işlevini kullanarak sonraki yinelemeyi hesaplar$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

Kelimelerde, sonraki değeri , geçerli konumundan başlayarak ve bir mesafe için arama yönünde hareket ederek bulunur . Her iki yöntemde de, hareket mesafesi bir satır aramasıyla bulunabilir ( üzerinden ). Başka kriterler de uygulanabilir. İki yöntemin farklı olduğu yerde seçimindedir . Gradyan yöntemi için . Konjugat gradyan yöntemi için, gradyan vektörlerini dikleştirmek için Grahm-Schmidt prosedürü kullanılır. Özellikle, , ancak eşittir$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ eksi üzerine bu vektörün projeksiyon , öyle ki . Sonraki her degrade vektörü, öncekilere karşı dikgenleştirilir, bu da yukarıdaki ikinci dereceden fonksiyon için çok güzel özelliklere yol açar.$d^0$$(d^1)^Td^0 = 0$

Yukarıdaki ikinci dereceden fonksiyon (ve ilgili formülasyonlar) ayrıca , konjugat gradyan yöntemini kullanarak çözme tartışmasının geldiği yerdir , çünkü bu nin minimum değeri olduğu noktasında elde edilir .$Ax = b$$f(x)$$x$$Ax = b$

Bu bağlamda, her iki yöntem de işlevin durumuna küçültme sorunları olarak düşünülebilir: zaman simetriktir, o küçültüldüğünde .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

Degrade inişi, degrade yönüne bakarak yineleyici olarak bir minimize edici arayan yöntemdir. Eşlenik gradyan benzerdir, ancak arama yönlerinin aynı zamanda .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$