Doğrusal denklem sistemlerinin çözümü için Krylov alt uzay yöntemlerinin yakınsamasının ardındaki ilke nedir?

Anladığım kadarıyla, doğrusal denklem sistemlerini çözmek için iki ana yinelemeli yöntem kategorisi vardır:

Durağan Yöntemler (Jacobi, Gauss-Seidel, SOR, Multigrid)
Krylov Alt uzay yöntemleri (Konjuge Gradyan, GMRES, vb.)

Durağan yöntemlerin çoğunun hatanın Fourier modlarını yinelemeli olarak gevşeterek (düzgünleştirerek) çalıştığını biliyorum. Bunu anlamak gibi Eşlenik gradyan yöntemi ile (Krylov alt uzay yöntemi) uygulanan matris güçlerden arama yönleri optimal seti yoluyla "atlama" çalışır inci kalıntı. Bu ilke tüm Krylov alt uzay yöntemleri için ortak mıdır? Olmazsa, genel olarak Krylov alt uzay yöntemlerinin yakınsamasının arkasındaki prensibi nasıl nitelendirebiliriz? $n$

— Paul
kaynak

Durağan yöntemlerin analiziniz basit model problemleriyle önyargılıdır, çünkü bunlar Fourier modları açısından analiz edilebilir. Ayrıca alternatif yön örtülü (ADI) ve diğer birçok yöntemi yok sayar. "Durağan Yöntemlerin" çoğunun amacı, birçok basit "yaklaşık kısmi" çözücüyü bir yinelemeli çözücünün içinde birleştirmektir. Krylov yöntemlerinin amacı, belirli bir durağan doğrusal yinelemenin yakınlaşmasını hızlandırmak (ya da zorlamaktır).

— Thomas Klimpel,

Sorularınıza cevap vermek için yazılmış bir makale Ipsen ve Meyer, Krylov yöntemlerinin arkasındaki fikir, Amer. Matematik. Aylık 105 (1998) s. 889-899. Bu mevcut harika iyi yazılmış ve netleştirilmesi kağıt, var burada .

— Andrew T. Barker

@ AndrewT.Barker: Muhteşem! Teşekkürler Andrew! :)

— Paul

Yanıtlar:

Genel olarak, tüm Krylov metotları esas olarak matris spektrumunda değerlendirildiğinde küçük olan bir polinom arar. Özel olarak, (sıfır ilk tahmin ile) Krylov yönteminin kalıntı inci şeklinde yazılabilir $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

nerede derecesi bazı mghorta polinomlarıdır . $P_n$ $n$

Eğer ile diyagonal , elimizdeki $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

Halinde normal (örneğin, simetrik veya üniter) biliyoruz ki CG farklı iç ürünü kullanılarak, polinom inşa ederken böyle bir polinom Arnoldi aracılığıyla iterasyon oluşturur GMRES (bakınız bu yanıt detayları için ). Benzer şekilde, BiCG polinomunu simetrik olmayan Lanczos prosesi yoluyla yapılandırırken, Chebyshev yinelemesi spektrum hakkında önceden bilgi kullanır (genellikle simetrik kesin matrisler için en büyük ve en küçük özdeğerlerin tahminleridir). $A$ $\kappa(V) = 1.$

Güzel bir örnek olarak (Trefethen + Bau tarafından motive edilmiş), spektrumu şudur:

Matris spektrumu

MATLAB'da bunu şöyle yaptım:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

derecesinin tüm monik polinomları üzerinde artıkları asgariye indiren polinomları oluşturan GMRES'i değerlendirirsek , aday polinomuna bakarak kalıntı geçmişini kolayca tahmin edebiliriz. $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

bizim durumumuzda

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

spektrumunda için . $z$ $A$

Şimdi, eğer GMRES'i rastgele bir RHS'de çalıştırırsak ve kalıntı geçmişini bu polinomla karşılaştırırsak, oldukça benzer olmaları gerekir (aday polinom değerleri GMRES kalıntılarından daha küçüktür, çünkü ): $\|b\|_2 > 1$

Artık tarih

— Reid.Atcheson
kaynak

Ne demek istediğinizi "matrisin spektrumunda küçük" olarak açıklayabilir misiniz?

— Paul

Karmaşık bir polinom olarak ele alındığında, polinom , spektrumunu içeren kompleks düzlemin bir bölgesinde küçük bir modüle sahiptir . Özdeğerlerin bir dağılım grafiği üzerine bindirilmiş bir kontur çizimi düşünün. Ne kadar küçük? Bu, normal olup olmadığı ve sağ taraftakiYine de temel fikir, polinom dizisinin , spektrumda giderek daha küçük ve daha küçük hale çalışmasıdır, böylece artık tahmin .

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Reid.Atcheson,

@ Reid.Atcheson: Çok güzel geçti. Belki deolarak ve normal matrisler için bir tane söz?

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$

— Jack Poulson,

Optimal SOR tarafından ön koşullandırılmış Laplacian, bu örnek matrise çok benzeyen bir spektruma sahiptir. Ayrıntılar burada: scicomp.stackexchange.com/a/852/119

— Jed Brown

Kesin konuşursak, CGNE spektrumdan bağımsızdır, çünkü sadece tekil değerlere dayanır.

— Jed Brown

Normlarda

Reid.Atcheson'un cevabına ek olarak, normlarla ilgili bazı konuları açıklığa kavuşturmak isterim. En yineleme, GMRES polinom bulur bu en aza indirir kalıntı arasında -norm $n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

SPD olduğunu varsayalım , bu nedenle bir norm oluşturur ve . Sonra $A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

hatayı kullandığımız yer

e_{n} = x_{n} - x_{*} = x_{n} - A^{- 1} b = A^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

Bu nedenle, hatanın normali, artıkların normuna eşittir . Eşlenik gradyanlar, düşük enerji modlarının çözümünde göreceli olarak daha doğru hale getiren hatanın normunu en aza indirir . , en aza indirir GMRES kalıntı arasında -norm gibidir, hatanın -norm ve dolayısıyla düşük enerjili modları daha iyi bir çözüme olması bakımından daha zayıftır. Not, düşük enerjili modları ile ilgili daha zayıf olduğu için artanın -norm esas değeri yoktur. $A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

Yakınsama sınırlarının keskinliği

Son olarak, özellikle normal olmayan operatörler için, farklı Krylov yöntemleri ve GMRES yakınsama inceliklerini inceleyen ilginç literatür var.

Nachtigal, Reddy ve Trefethen (1992) Simetrik olmayan matris yinelemeleri ne kadar hızlı? (yazarın pdf'si) , bir yöntemin diğerlerini büyük bir faktörle (en azından matris boyutunun karekökü) dövdüğü matrislere örnekler verir.
Embree (1999) GMRES yakınsama sınırları ne kadar açıklayıcı? Daha keskin sınırlar veren ve aynı zamanda köşegenleştirilemeyen matrisler için de geçerli olan psödospektra anlamında ayrıntılı bir tartışma sunar.
Embree (2003) Kaplumbağa ve tavşan GMRES'i yeniden başlatıyor (yazar pdf)
Greenbaum, Pták ve Strakoš (1996) GMRES için herhangi bir artmayan yakınsama eğrisi mümkündür

— Jed Brown
kaynak

Olavi Nevanlinna'nın mükemmel kitabından çıktınız: books.google.com/…

— Matt Knepley

Özet olarak yinelemeli yöntemler:

Sabit yöntemler özü içinde olan sabit nokta tekrarlamalar : çözmek için , bir ters çevrilebilir matris almak ve sabit bir noktaya bulmak Banach sabit nokta teoremi ile bu yakınsak ise . Çeşitli yöntemler daha sonra spesifik bir seçimine karşılık gelir (örneğin, Jacobi yinelemesi için, , burada , çapraz elemanlarını içeren bir çapraz matrisdir ). $Ax=b$ $C$
$x = x + C b - C A x$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
Krylov yöntemleri alt uzay yöntemleri özünde yansıtma yöntemleridir : seçersiniz ve bir , böylece artık ile ortogonal olur . Krylov metotları için elbette , ilk kalıntıya uyguladığı güçlerin kapsadığı alandır . Daha sonra çeşitli yöntemler spesifik seçimlerine karşılık gelir (örneğin, CG için ve GMRES için ). $U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

Bu yöntemlerin (ve genel olarak projeksiyon yöntemlerinin) yakınsama özellikleri, ilgili seçimi nedeniyle , karşı en uygun durumda olması (örneğin, CG ya da artıklar için enerji normundaki hatayı minimize ederler) GMRES için). Her yinelemede boyutunu artırırsanız, son derece fazla adımdan sonra çözümü bulmak için (tam aritmetik olarak) garanti edilir. $V$ $\tilde x$ $U$ $U$

İçin Krylov boşlukları kullanarak, Reid Atcheson işaret ettiği gibi Eğer nin öz (ve dolayısıyla koşul sayısı) açısından yakınlaşma oranlarını kanıtlamak için izin verir . Buna ek olarak, bu çıkıntı hesaplanması için etkin algoritmalar türetmek için çok önemli olan . $U$ $A$ $\tilde x$

Bu, Youcef Saad'ın yinelemeli yöntemler konusundaki kitabında güzel bir şekilde açıklanmıştır .

— Hıristiyan Clason
kaynak