Eşlenik gradyanın GMRES'ten çok daha iyi çalıştığı sorunlar

17

Eşlenik gradyanın GMRES yönteminden çok daha iyi çalıştığı durumlarla ilgileniyorum.

Genel olarak, CG birçok SPD vakasında tercih edilir (simetrik-pozitif-kesin) çünkü daha az depolama gerektirir ve CG için yakınsama oranına teorik olarak bağlı olması GMRES'in iki katıdır. Bu oranların gerçekte gözlemlendiği herhangi bir sorun var mı? Aynı sayıda spmv (seyrek matris-vektör çarpımları) için GMRES'in CG ile daha iyi veya karşılaştırılabilir olduğu durumların karakterizasyonu var mı?

linear-solver conjugate-gradient gmres

— piyush_sao
kaynak

8

CG'nin lehine olan bir şey , artık polinomları (GMRES'in yaptığı) için ayrı normunu en aza indirmemesidir. Bunun yerine bir matrisin neden olduğu normu en aza indirir ve çoğu zaman bu matrisin neden olduğu norm, fiziksel problemlerin takdirleri için enerji normuna çok yakın olur ve çoğu zaman bu, koruma özelliklerinin gelmesi nedeniyle hatayı ölçmek için çok daha makul bir normdur. fizikten. $l^2$

Bir kitle matrisinin Cholesky çarpanlarına ayırma işlemi çok pahalı değilse, GMRES ile de bu tür bir etki elde edebilirsiniz, iç ürünleri istediğiniz enerji iç ürünleri olmaya zorlayabilirsiniz.

O zaman CG'nin GMRES'ten çok farklı bir performans göstermesini beklemesi gereken durumlar o zaman norm denkliğinde ima edilen sabitlerin çok farklı olduğu zamandır. Bu ayrı bir üst sıra spektral-Galerkin yönteminde, örneğin geçerli olabilir gerçekte polinom gradyanlar keskin yakın sınırlar (dolayısıyla düğüm kümelenme) olduğunda GMRES kullanılan standart, aynı olarak tüm serbestlik derecelerini davranır ve böylece norm eşdeğerlik norm arasında sabit ve sürekli ki kütle matrisi ile verilen bir norm çok büyük olabilir. $l^2$ $L^2$

— Reid.Atcheson
kaynak

Burada yüksek dereceli bir yöntem ve CG, GMRES ve GMRES + Cholesky hile yakınsama geçmişleri ile bir örnek vermek istedim .. ama ne yazık ki ikinci dereceden sorunlar için elimdeki tek kod simetrik olmayan çeşitlilik DG olduğunu .. yani CG isn uygulanabilir değil, bunu eylemde görmek isterdim.

— Reid.Atcheson

3

Bence cevabınız önemli bir şeye kavuşuyor ama keşke açıklığa kavuşturmanızı isterdim. Özellikle, soru saf bir lineer cebir sorusudur ve cevabınız sayısal bir PDE'den fiziksel normlar ve kütle matrisleri vb. Aynı Krylov uzayında farklı normlarda minimizasyonun farklı iteratlara nasıl yol açtığı konusunda kesin bir şey söyleyebilir miyiz?

— Andrew T. Barker

Sayısal örneklerin yanı sıra, farklı normların nasıl önemli ölçüde farklı cevaplar verdiğini açıklayan henüz dikkatli bir teorik çalışma olduğunu düşünmüyorum. Sanırım sonuç, sonuçların asimptotik etrafında dönmesi ve sabit bir doğrusal sistem için teorik sonuçların aynı modulo sabit faktörleri olacağıdır. Orada bazı teorik çalışmalar varsa onları görmek isterim, ancak bölümümdeki bazı sayısal lineer cebir uzmanlarına sorduktan sonra, farklı normlarda neler olduğunu gösteren kesin bir teorik analiz olmadığı görülüyor.

— Reid.Atcheson

4

Genelde bir SPD matrisi için GMRES ve CG arasında çok fazla fark olmadığını düşünüyorum.

Diyelim biz çözme ki ile simetrik pozitif kesin ve başlangıç tahmin CG ve GMRES ile üretilmesi yinelendikçe diyoruz ve . Hem iteratif yöntemler binası olacak aynı Krylov uzay dan . Bunu biraz farklı şekillerde yapacaklar. $Ax = b$ $A$ $x_0 = 0$ $x_k^c$ $x_k^g$ $x_k$ $K_k = \{ b, Ab, A^2b, \ldots \}$

CG, neden olduğu enerji normunda hatasını en aza indirerek karakterize edilir , böylece $e_k^c = x - x_k^c$ $A$

(A e_{k}^{c}, e_{k}^{c}) = (A (x - x_{k}^{c}), x - x_{k}^{c}) = min_{y \in K} (A (x - y), x - y) .

$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$

$r_k = b - A x^g_k$ $\ell^2$

(r_{k}, r_{k}) = (b - A x_{k}^{g}, b - A x_{k}^{g}) = min_{y \in K} (b - A y, b - A y) .

$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$

A e_{k} = r_{k}

$A e_k = r_k$

(r_{k}, r_{k}) = (A e_{k}^{g}, A e_{k}^{g}) = (A^{2} e_{k}^{g}, e_{k}^{g})

$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$

A

$A$

A

$A$

A^{2}

$A^2$

A

$A$

A

$A$

$K_1 = \{ b \}$ , both CG and GMRES will construct an approximation of the form $x_1 = \alpha b$ . CG will choose

α = \frac{(b, b)}{(A b, b)}

$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$ and GMRES will choose

α = \frac{(A b, b)}{(A^{2} b, b)} .

$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$ If

A

$A$ is diagonal with entries

(ϵ, 1, 1, 1, \dots)

$(\epsilon,1,1,1,\ldots)$ and

b = (1, 1, 0, 0, 0, \dots)

$b = (1,1,0,0,0,\ldots)$ then as

ϵ \to 0

$\epsilon \rightarrow 0$ the first CG step becomes twice as large as the first GMRES step. Probably you can construct

A

$A$ and

b

$b$ so that this factor of two difference continues throughout the iteration, but I doubt it gets any worse than that.

— Andrew T. Barker
kaynak

2

Let

b = (1, \sqrt{ϵ}, 0, 0, \dots)

$b = (1,\sqrt{\epsilon},0,0,\dotsc)$ . Then

| b | = \sqrt{1 + ϵ}

$|b| = \sqrt{1 + \epsilon}$ ,

b^{T} A b = \sqrt{2} ϵ

$b^T A b = \sqrt{2} \epsilon$ , and

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$ . Thus

α_{CG} = \frac{ϵ^{- 1} + 1}{\sqrt{2}} \sim ϵ^{- 1}

$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$ , but

α_{GMRES} = \sqrt{\frac{2}{1 + ϵ^{2}}} \sim \sqrt{2}

$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$ . That is, the initial vector is already of the correct scale for making the residual small, but needs to be scaled by

ϵ^{- 1}

$\epsilon^{-1}$ to make the error small.

— Jed Brown

3

One thing is that GMRES is never used wherever CG can be applied. I dont think it does make sense to compare these two. For SPD matrices, CG is definitely the winner because of the storage requirements and the reasons you mentioned above. A question that would be interesting is, to find an extension of CG, that is applicable to problems where CG can not be applied. There are methods like BiCG-stab that do not require linearly increasing memory like GMRES, but the convergence is not as good as GMRES (some times even with restarted GMRES).

— user1964178
kaynak

2

There are the IDR schemes which bridge the gap between GMRES and BiCG in terms of memory savings, stability, and convergence: ta.twi.tudelft.nl/nw/users/gijzen/IDR.html I'm not sure I agree that GMRES shouldn't be used if CG could be. If you can do a cholesky factorization of a matrix which induces your energy norm, then you can feed that into a symmetric Lanczos iteration and obtain a three term recurrence solution that will behave very nearly like CG. Of course, CG is the easier option, but the option is available :)

— Reid.Atcheson

2

If you use a Krylov smoother, for instance, then GMRES is likely preferable because it uses a weaker norm that targets larger eigenvalues which tend to be higher frequency.

— Jed Brown