Yinelemeli yöntemler için “yakınsama oranı” nı anlama

Wikipedia'ya göre yakınsama oranı vektör normlarının spesifik bir oranı olarak ifade edilir. "Doğrusal" ve "karesel" oranlar arasındaki farkı anlamaya çalışıyorum, farklı zaman noktalarında (temelde, yinelemenin "başında" ve "sonunda"). Şu şekilde ifade edilebilir:

• doğrusal yakınsama ile, x k + 1 yinelemesinin hatasının normu ile sınırlıdır.$e_{k+1}$$x_{k+1}$$\|e_k\|$

• kuadratik yakınsama ile, hata norm yinelerler ait tarafından sınırlandırılan$e_{k+1}$$x_{k+1}$$\|e_k\|^2$

Böyle bir yorum, birkaç (az sayıda) doğrusal olarak yakınsak algoritma A1 (rasgele başlatma varsayılır) yinelemeleri ile, birkaç karesel yakınsak algoritma A2 birkaç tekrarında daha küçük bir hata elde edileceği anlamına gelir. Bununla birlikte, hata azaldığından ve kareleme nedeniyle, daha sonra yinelemeler A2 ile daha küçük bir hata anlamına gelir.

Yukarıdaki yorum geçerli mi? oran katsayısını göz ardı ettiğini unutmayın .$\lambda$

Uygulamada, evet. Birlikte hala çok büyüktür, hız katsayısı q-oranı yerine hata hakim olacaktır. (Bunların asimptotik oranlar olduğunu unutmayın, bu nedenle bağlandığınız ifadeler yalnızca olarak sınır için geçerlidir .)$e_k$$\lambda$$k\to\infty$

Örneğin, optimizasyondaki birinci dereceden yöntemler için genellikle başlangıçta hızlı bir hata düşüşü gözlemlersiniz, bu da daha sonra düzleşir. Diğer yandan Newton yöntemi için, süper doğrusal (veya kuadratik) yakınsama başlaması biraz zaman alabilir (sonuçta sadece yerel olarak süper doğrusal yakınsak). Bu nedenle, bir Newton yöntemine geçmeden önce birkaç gradyan adımla başlamak ya da başlangıçta ilk sipariş yöntemleri olarak davranan ve yaklaşırken Newton yöntemine dönüşen homotopy veya yarı-Newton yöntemlerini kullanmak yaygındır. hedef.

Christian'ın cevabına ek olarak, doğrusal yakınsama için , yöntem yakınsarsa sahip olduğunuzu da gerekir . Öte yandan, ikinci dereceden yakınsama için ve bir yöntemin birleşmesi, birinden daha küçük olması gerektiği anlamına gelmez . Aksine, yakınsama şartı$e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$- yani, başlangıç ​​tahmininiz yeterince yakın. Bu yaygın olarak gözlenen davranıştır: kuadratik olarak yakınsak algoritmaların, yakınsama için çözümden "yeterince yakın" başlatılması gerekirken, doğrusal olarak yakınsak algoritmalar tipik olarak daha dayanıklıdır. Bu, daha verimli olanlara geçmeden önce (örneğin Newton'un yöntemi) doğrusal bir yakınsama algoritmasının (örneğin, en dik iniş yöntemi) birkaç adımla başlamasının başka bir nedenidir.

Yorum niteliksel olarak doğrudur.

Doğrusal ve karesel yakınsamanın en kötü durumla ilgili olduğunu, belirli bir algoritmada durumun Wolfgang Bangerth tarafından verilen en kötü durum analizinden elde ettiğinizden daha iyi olabileceğini, ancak nitel durum genellikle bu analize karşılık geldiğini unutmayın.

Somut algoritmalarda (örneğin, optimizasyonda) ilerleme yavaşlaşana kadar önce ucuz ama sadece doğrusal olarak yakınsak bir yöntemle yinelemek ve daha sonra kuadratik (veya en azından doğrusal olarak) yakınsak bir yöntemle bitirmek genellikle mantıklıdır. Pratikte, süper lineer yakınsama, ikinci, yavaş bir şekilde yakınsak olan kısmın genel çalışmaya hakim olma eğiliminde olması nedeniyle ikinci dereceden yakınsama kadar iyi olma eğilimindedir.