Satır aramada kübik ve kuadratik enterpolasyon arasında karar vermeye yardımcı olun

Bir yarı Newton BFGS algoritmasının bir parçası olarak çizgi arama yapıyorum. Çizgi aramanın bir adımında, yerel minimizere yaklaşmak için kübik enterpolasyon kullanıyorum.

Let ilgi fonksiyonu. Bir bulmak istiyorum öyle ki .$f : R \rightarrow R, f \in C^1$$x^*$$f'(x^*) \approx 0$

Let , , ve bilinmelidir. Ayrıca olduğunu varsayın . Kübik bir polinom böylece , , ve .$f(x_k)$$f'(x_k)$$f(x_{k+1})$$f'(x_{k+1})$$0\le x_k<x^*<x_{k+1}$$Q(x)=ax^3+bx^2+cx+d$$Q(0)=f(x_k)$$Q'(0)=f'(x_k)$$Q(x_{k+1}-x_{k})=f(x_{k+1})$$Q'(x_{k+1}-x_{k})=f'(x_{k+1})$

İkinci dereceden denklemi : kapalı form çözümünü kullanarak aranan için.$(1): Q'(x^*-x_k) = 0$$x^*$

Dışında da pek çok durumda yukarıda belirtilen çalışmalar, için kapalı form çözümü olarak ile bölündüğü çok yakın ya da tam olarak olur .$f(x)=\mathcal{O}(x^2)$$(1)$$a$$0$

Benim çözümüm bakmak için ve "çok küçük" ise sadece kuadratik polinom ait asgarileştirir için kapalı formda çözümü almak Zaten katsayıları sahip olduğunuz önceki uyumdan .$a$$Q_2(x)=bx^2+cx+d$$b,c,d$$Q(x)$

Sorum şu: Kübik interpolasyonun kübik üzerine ne zaman alınacağı konusunda nasıl iyi bir test yapabilirim? için test etmek için saf bir yaklaşım, sayısal nedenlerden dolayı kötüdür, bu yüzden Burada makine hassasiyeti, ancak ölçek değişmezi olan iyi bir karar veremiyorum .$a \equiv 0$$|a| < \epsilon\tau$$\epsilon$$\tau$$f$

Bonus soru: Başarısız kübik uyumdan, katsayılarının kullanılmasıyla ilgili herhangi bir sayısal sorun var mı veya uygun katsayıları hesaplamak için yeni bir kuadratik uyum gerçekleştirmeli miyim?$b,c,d$

Açıklığa kavuşturmak için düzenleyin: Soruma göre , literatürde aslında olarak . Soru formülasyonunu basitleştirdim. Çözdüğüm optimizasyon problemi 6 boyutta doğrusal değil. Wolfe koşullarının BFGS satır araması için yeterli olduğunu ve bu yüzden ; Güçlü Wolfe koşullarını tatmin edecek bir şey arıyorum ve kübik yaklaşımın minimizasyonunu almak yol boyunca iyi bir adım.$f$$\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$$f'(x^*) \approx 0$

Soru BFGS ile ilgili değil, kübik katsayının kuadratik bir yaklaşımın daha uygun olacağı kadar küçük olduğunu nasıl belirleyeceğiydi.

Edit 2: Gösterimi güncelleyin, denklemler değişmedi.

Hmm ... kübik enterpolasyon satır araması için duyulmamış değil, tipik olarak aşırı doludur.

Sorununuzu doğru okuyorsam, sadece bir skaler mi? Bu durumda, BFGS muhtemelen probleminizi çözmenin en etkili yolu değildir. Brenth yöntemi gibi skaler optimizasyon algoritmaları probleminizi daha hızlı çözecektir.$x$

BFGS için bir dizi satır arama algoritması vardır. Kendi uygulamalarım için, bellek sınırlı BFGS (L-BFGS) kullanarak bu satır araması çok iyi çalışıyor. Sadece Wolfe koşullarını yerine getirmeniz gerektiğini ve kesin küçültücüyü bularak çok fazla kazanamayacağınızı unutmayın.

Her neyse, sorunuzu gerçekten cevaplamak için: Eğer kübik çözüldüğünde NaN veya Inf gibi "kötü" değerler verirse ( burada yapıldığı gibi ) basitçe kuadratik polinomlara geçmeyi düşünürdüm .

kullanarak ne demek istediğinizden emin değilim ? Kübik uyum için bu katsayılar kuadratik uyum için olanlarla aynı olmayacaktır, bu yüzden onları tekrar kullanamazsınız.$b,c,d$

Son olarak, kullanmak isteyebilir yerine sizin fonksiyonu (muhtemelen) sadece lokal olarak yaklaşık kübik veya kuadratik olacağı gibi, ve ve olmalıdır birbirine (ve çözeltiye) daha yakın .$f(x_{k-1})$$f(x_0)$$x_k$$x_{k-1}$$x_0$

Bu yardımcı olur umarım.

Moré'nin Nocedal tarafından uygulanmış bir makalesi var:

Jorge J. Moré ve David J. Thuente. 1994. Yeterli azalmayı garantileyen satır arama algoritmaları. ACM Trans. Matematik. Y. 20, 3 (Eylül 1994), 286-307. DOI http://dx.doi.org/10.1145/192115.192132 ( ön baskı ).