Çapraz baskın matrislere yinelemeli yöntemlerin güvenli uygulanması

Aşağıdaki doğrusal sistemin verildiğini varsayalım

\begin{matrix} (1) & L x = c, \end{matrix}

$Lx=c,\tag1$ nerede

L

$L$ pozitif olduğu bilinen Laplacian ağırlıklı

s e m i -

$semi-$ tek boyutlu boş uzay ile

1_{n} = (1, \dots, 1) \in R^{n}

$1_n=(1,\dots,1)\in\mathbb{R}^n$ ve çeviri varyansı

x \in R^{n}

$x\in\mathbb{R}^{n}$ , yani,

x + a 1_{n}

$x+a1_n$ (türevi olan fonksiyon değerini değiştirmez)

(1)

$(1)$ ). Tek olumlu girişler

L

$L$ negatif diyagonal girişlerin mutlak değerlerinin bir toplamı olan diyagonalindedir.

Alanında oldukça alıntı yapılan bir akademik çalışmada, $L$ dır-dir $not~strictly$ çapraz olarak baskın olan Konjugat Gradyan, Gauss-Seidl, Jacobi gibi yöntemler hala güvenli bir şekilde kullanılabilir $(1)$ . Bunun mantığı, çeviri değişmezliği nedeniyle, bir noktayı düzeltmek için güvenli olmasıdır (ör. $L$ ve ilk giriş $c$ ), böylece $L$ bir $strictly$ çapraz olarak baskın matris. Her neyse, orijinal sistem tam olarak çözülür. $(1)$ , ile $L\in\mathbb{R}^{n\times n}$ .

Bu varsayım doğru mu ve öyleyse alternatif mantık nedir? Yöntemlerin yakınsamasının hala nasıl tuttuğunu anlamaya çalışıyorum.

Jacobi yöntemi yakınsaksa $(1)$ , spektral yarıçap hakkında bir durum ne olabilir? $\rho$ yineleme matrisinin $D^{-1}(D-L)$ , nerede $D$ girişleri olan köşegen matris $L$ onun diyagonal? Dır-dir $\rho(D^{-1}(D-L)\leq1$ dolayısıyla genel yakınsama garantilerinden farklı olarak $\rho(D^{-1}(D-L))<1$ ? Bunu Laplacian matrisinin özdeğerlerinden beri soruyorum $D^{-1}L$ diyagonal olanlar menzil içinde olmalıdır $[0, 2]$ .

Orijinal çalışmadan:

......................................

Her bir yinelemede, aşağıdaki doğrusal sistemi çözerek yeni bir düzen (x (t +1), y (t + 1)) hesaplıyoruz:

\begin{matrix} (8) & L \cdot x (t + 1) = L (x (t), y (t)) \cdot x (t) L \cdot y (t + 1) = L (x (t), y (t)) \cdot y (t) \end{matrix}

$L · x(t + 1) = L(x(t),y(t)) · x(t) \\ L · y(t + 1) = L(x(t),y(t)) · y(t) \tag 8$ Genelliğin kaybı olmadan, sensörlerden birinin konumunu (yerelleştirilmiş stresin çeviri serbestlik derecesini kullanarak) sabitleyebilir ve kesinlikle çapraz olarak baskın bir matris elde edebiliriz. Bu nedenle, Jacobi yinelemesini çözmek için güvenle kullanabiliriz (8)

.......................................

Yukarıda "iterasyon" kavramı temeldeki minimizasyon prosedürüyle ilgilidir ve Jacobi iterasyonuyla karıştırılmamalıdır. Böylece, sistem Jacobi (yinelemeli olarak) tarafından çözülür ve daha sonra çözüm (8) 'in sağ tarafına alınır, ancak şimdi altta yatan minimizasyonun bir başka yinelemesi için. Umarım bu konuyu açıklığa kavuşturur.

Hangi yinelemeli doğrusal çözücülerin pozitif semidefinit matrisler için yakınsadığını bulduğumu unutmayın. , ancak daha ayrıntılı bir cevap arıyorum.

— usero
kaynak

Atıfta bulunulan eser için bir bağlantı veya alıntı gönderebilir misiniz?

— Geoff Oxberry

Bu siteden alınabilir: citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.164.1421 Tüm çalışmayı okumanız beklenmediğinden s.7 (altta) kısmına bakın. Yinelemeli çözücülerin seçiminin haklı olduğunu düşünüyorum, ancak daha iyi (veya en azından farklı) bir mantık gerektiğini hissediyorum.

— usero

Bu adamların kombinatoryal önkoşullarla aynı topluluktan olup olmadığını merak ediyorum.

— shuhalo

Yanıtlar:

Jacobi yinelemesinin yakınsak olduğu kanıtlanabilir.

Emin olmanız gereken ilk şey $c^T \mathbf{1}_n = 0$ çözümün varlığı şartıdır (sanırım $L=L^T$ , aksi takdirde ihtiyacın var $c\in (\mathrm{Ker} L^T)^\perp$ ) Çünkü sen söyledin $V_0:=\mathrm{Ker} L = \mathrm{span}\{\mathbf{1}_n\}$ . Bu sözleşmeyi kullanacağız $V_0$ aynı zamanda sütunların ortonormal temeli olduğu matristir. Senin durumunda, $V_0:=\mathbf{1}_n/\sqrt{n}$ .

Sonra, orijinal sistemdeki Jacobi yinelemesinin hataları için,

e_{1} = (I - D^{- 1} L) e_{0} = (I - D^{- 1} L) (P e_{0} + V_{0} a) = (I - D^{- 1} L) P e_{0} + V_{0} a,

$e_1 = (I-D^{-1}L)e_0 = (I-D^{-1}L) (P e_0 + V_0a)=(I-D^{-1}L) P e_0 + V_0a,$ nerede

P := I - V_{0} V_{0}^{'}

$P:=I-V_0V_0'$ dikey yansıma

V_{1} := V_{0}^{⊥}

$V_1:=V_0^\perp$ . Yukarıdaki iterasyondan, biliyoruz ki

P e_{1} = P (I - D^{- 1} L) P e_{0},

$P e_1 = P (I-D^{-1}L) P e_0,$
bundan iterasyon matrisi var

S

$S$ içinde

V_{1}

$V_1$ ,

S := P (I - D^{- 1} L) P .

$S: = P (I-D^{-1}L) P.$ Bu değil

S

$S$ aşağıdaki matrisle aynı spektrumlara (sıfırlar hariç) sahiptir

\tilde{S} := (I - D^{- 1} L) P P = (I - D^{- 1} L) P = (I - D^{- 1} L) (I - V_{0} V_{0}^{'}) = I - D^{- 1} L - V_{0} V_{0}^{'} .

$\tilde{S}:= (I-D^{-1}L) P P=(I-D^{-1}L) P=(I-D^{-1}L)(I-V_0V_0')\\ =I-D^{-1}L-V_0V_0'.$ Biz spektral yarıçapı istiyoruz

S

$S$ yakınsama kanıtlamak için birden az.

Aşağıdaki alıntı eskidir ve yalnızca başvuru amacıyla saklanmıştır. Yeni kanıt için sonrakine bakınız.

Senin durumunda, $V_0V_0'=\frac{1}{n}\mathbf{1}_{n\times n}.$ Ve bunu doğrulayabilirsiniz $D^{-1}L+V_0V_0'$ girişlerinin $L$ diyagonalde pozitif, aksi halde negatif. Özdeğerlerini göstermek $D^{-1}L+V_0V_0'$ gerçektir, matrisin iç ürünün altında kendiliğinden bitişik olduğunu not ediyoruz $<x,y>:=y^TDx.$

Eğer $V_0$ sizin özel formunuzda değil, yakınsama sorusuna bir cevap bulamadım. Birisi bunu aydınlatabilir mi?

Bunu not et $V_0$ özdeğerine karşılık gelen öz vektördür $1$ nın-nin $I-D^{-1}L$ . Gözlemlere dayanarak, Jiu Ding ve Ai-Hui Zhou'nun bazı uygulamaları ile rütbe bir güncellenmiş matrislerin Özdeğerlerinden Teorem 2.1'i çağırıyoruz .

Teorem 2.1 Let $u$ ve $v$ iki ol $n$ boyutlu sütun vektörleri $u$ bir özvektördür $A$ özdeğer ile ilişkili $\lambda_1$ . Sonra, özdeğerleri $A+uv^T$ Hangi $\{\lambda_1+u^Tv,\lambda_2,\ldots,\lambda_n\}$ cebirsel çokluk sayma.

Sonra, biliyoruz ki $\tilde{S}$ aynıdır $I-D^{-1}L$ bunun dışında özdeğer $1$ ikincisi tarafından kaydırılır $-1$ birincisinde özdeğer sıfır değerine. Dan beri $\rho(I-D^{-1}L)\subset (-1,1]$ , sahibiz $\rho(\tilde{S})\subset (-1,1)$ .

— Hui Zhang
kaynak

Cevabın için teşekkür ederim. Benzer bir şey düşündüğüm şeydi: yani, ağırlıklı Laplacian

D^{- 1} L

$D^{-1}L$ yukarıda, özdeğerlerinin

[0, 2)

$[0, 2)$ dolayısıyla içindeki spektral yarıçap ile

(0, 2)

$(0, 2)$ (bir özdeğer daha büyüktür)

0

$0$ ve en az biri

0

$0$ ). Bu nedenle, yineleme matrisinin spektral yarıçapı

I - D^{- 1} L

$I-D^{-1}L$ o zamandan daha az

1

$1$ , dolayısıyla yakınsak Jacobi ile. Belki de yukarıdaki spektrum yarıçapı üzerindeki varsayım

I - D^{- 1} L

$I-D^{-1}L$ (hariç

0

$0$ ) güvenli değil mi?

— usero

Bence spektrumları

D^{- 1} L

$D^{-1}L$ içinde olmalı

[0, 2]

$[0,2]$ , şu saatte kapalı:

2

$2$ . Nasıl alabileceğini bilmiyorum

2

$2$ dışlanan. Benim bakış açımdan, (Gershgorin daire teoremi) [ en.wikipedia.org/wiki/Gershgorin_circle_theorem] yalnızca tahmini

2

$2$ . Bu durumda, spektral yarıçapın tahmini

I - D^{- 1} L

$I-D^{-1}L$ dır-dir

\leq 1

$\leq 1$ çekirdeğinde bulunan vektörlerle eşitlik

L

$L$ . Bence istediğiniz yakınsama dik tamamlayıcı alanda

V_{1}

$V_1$ Yukarıdaki 'cevapta' belirtildiği gibi.

— Hui Zhang

Math.ucsd.edu/~fan/research/cb/ch1.pdf Matrisi Lemma 1.7 (v) 'ye bakabilirsiniz

D^{- 1} L

$D^{−1}L$ tam bir grafik üzerinde ağırlıklı bir Laplacian olarak kabul edilebilir.

2

$2$ . Sanırım bu yakınsama kanıtı için yeterli bir argüman mı? ...

c

$c$ . Soruyorum çünkü sen tanıttın

V_{0}

$V_0$ Ve

I - D^{- 1} L - V_{0} V_{0}^{'}

$I-D^{-1}L-V_0V_0'$ : spektral yarıçapın (

s r

$sr$ ) nın-nin

I - D^{- 1} L

$I-D^{-1}L$ dır-dir

(0, 1]

$(0, 1]$ , ek olarak

- \frac{1}{n}

$-\frac{1}{n}$ , verim verecek

s r < 1

$sr<1$ . Bu yeterince iyi bir argüman değil mi?

— usero

Merhaba, iyi bir kitaba işaret ettiğiniz için teşekkürler. Ama hızlıca bakamadığımı fark ettim. Son argümanınız hakkında, yukarıdaki "cevap" ile hemen hemen aynı görünür. Dikkatli ol, eklemiyorsun

\frac{1}{n}

$\frac{1}{n}$ fakat

\frac{1}{n} 1_{n \times n}

$\frac{1}{n}\mathbf{1}_{n\times n}$ , bu yüzden basit bir ek değildir

s r

$sr$ nın-nin

I - D^{- 1} L

$I-D^{-1}L$ . Genellikle

s r

$sr$ iki matrisin toplamının olan değil basit toplamı

s r

$sr$ bireysel matrislerin.

— Hui Zhang

Bunu işaret etmen iyi oldu. Yaklaşımınız merkezlemenin ötesinde yinelemelerin diğer ön / son işlemlerini gerektiriyor mu c. Soruyorum çünkü sen tanıttın

V_{0}

$V_0$ ve boş alanı yansıtmaktan bahsettiğinizi düşündüm. Eğer öyleyse, yansıtma için boş alan çıkıntısı gerçekten gerekli mi?

— usero

Krylov yöntemleri hiçbir zaman yinelemedikleri alanın boyutluluğunu açıkça kullanmaz, bu nedenle yinelemeleri boş olmayan alt alanda tuttuğunuz sürece bunları tekil sistemlerde çalıştırabilirsiniz. Bu normalde her yinelemede sıfır boşluğu yansıtarak yapılır. Yanlış gidebilecek iki şey var, birincisi ikincisinden çok daha yaygın.

Tek koşullu operatöre uygulandığında önkoşul kararsızdır. Doğrudan çözücüler ve eksik çarpanlara ayırma bu özelliğe sahip olabilir. Pratik bir mesele olarak, sadece farklı önkoşullar seçiyoruz, ancak tekil sistemler için önkoşullayıcılar tasarlamak için daha ilkeli yollar var, örneğin Zhang (2010) .
Bazı yinelemelerde, $x$ null olmayan alt alanda, ancak $A x$ tamamen boş alanda yaşıyor. Bu sadece simetrik olmayan matrislerle mümkündür. Değiştirilmemiş GMRES bu senaryoda bozulur, ancak arızasız varyantlar için Reichel ve Ye'ye (2005) bakın.

PETSc kullanarak tekil sistemleri çözmek için, bakınız KSPSetNullSpace(). Çoğu yöntem ve önkoşul, tekil sistemleri çözebilir. Pratikte, Neumann sınır koşullarına sahip PDE'ler için küçük null alan, Krylov çözücüsünü null alan hakkında bilgilendirdiğiniz ve makul bir önkoşul seçtiğiniz sürece neredeyse hiçbir zaman bir sorun değildir.

Yorumlardan, Jacobi ile özellikle ilgilendiğiniz anlaşılıyor. (Neden? Jacobi, çoklu-akıcı pürüzsüz olarak yararlıdır, ancak çözücü olarak kullanmak için çok daha iyi yöntemler vardır.) Jacobi $A x = b$ vektör olduğunda yakınsamaz $b$ null uzayında bir bileşeni var $A$ ancak, çözümün null boşluğa dik olan kısmı yakınsak olur, bu nedenle null boşluğu her yinelemeden dışarı yansıtırsanız, o yakınsak olur. Alternatif olarak, tutarlı bir $b$ ve ilk tahmin, yinelemeler (tam aritmetik olarak) boş alanda bileşenler birikmez.

— Jed Kahve
kaynak

Köşegen üzerinde sıfır olması için dikey bir temel değişikliği yapabilirsiniz (herhangi bir dikey matrisi bulun

Q

$Q$ ki burada birinci sütun sabit vektördür). Bu dönüşümün altında

A_{1} = Q^{T} A Q

$A_1 = Q^T A Q$ , matris

A_{1}

$A_1$ hala simetrik pozitif yarı tanımlıdır, ancak ilk diyagonal giriş 0'dır, bu nedenle Jacobi'nin doğrudan uygulaması başarısız olur. Dan beri

A_{1}

$A_1$ yoğun, bunu pratikte yapmazsınız, ama bu temelin önemli olduğunu gösterir. Eğer

Z

$Z$ sıfır alanı için dikey bir temeldir, öngörülen GMRES sadece çözüyor

(I - Z) P^{- 1} A x = (I - Z) P^{- 1} b

$(I-Z)P^{-1} A x = (I-Z)P^{-1} b$ .

— Jed Brown

Hmm, silinen bir yorumu yanıtladı gibi görünüyor. Yararlı olması durumunda yorumu burada bırakacağım.

— Jed Brown

Cevabınız için teşekkürler, beklediğimden çok daha yüksek uzmanlık düzeyinde. Bu nedenle, aşağıdaki konularda bazı rehberlere ihtiyacım olacak: 1) her yinelemede boş alanı nasıl yansıtacağım? 2) Benim anlayış olarak, belirtildiği gibi sisteme Jacobi uygulama öncelikle olabileceğini belirtti değil (yani iterands) daha iyi bir çözüm tahminleri almıyorsanız tam çözüme yaklaşmak. Bu nedenle farklı önkoşullar seçilmesi önerilir? Eğer öyleyse, bu pratik olarak ile davranış üzerinde dinamik bir kontrol anlamına mı geliyor?

d i a g (A)

$diag(A)$ ve sorun oluşursa değiştirin (yukarıdaki doğrusal sistem durumunda)?

— usero

Benim 1) yukarıdan şöyle düşünülmelidir: öncelikle yayınlanan sistemle Jacobi yinelemesi göz önüne alındığında , boş alanı yansıtmak gerekiyor mu ve eğer öyleyse, güncelleme içine nasıl dahil edilebilir?

X_{k + 1} = D^{- 1} (b - (A - D) X_{k})

$X_{k+1}=D^{-1}(b-(A-D)X_k)$ ? Tekrarlama sonrası işlemler

X_{k + 1}

$X_{k+1}$ ve sonradan işlenen sürümü

X_{k}

$X_{k}$ ?

— usero

Makul bir temelde, Jacobi kararlı olmalıdır. Diyagonal matris elemanı 0 ise diyagonalde 1 kullanabilir, projeksiyon yine de boş alanı kaldırır. CG veya GMRES gibi bir Krylov yöntemi kullanmayı planlıyor musunuz? Değilse, neden olmasın? Eğer öyleyse, sıfır alanı için dik bir temele ihtiyacınız var. Boş alanınızda yalnızca sabit mod vardır, bu nedenle boş alana dik bir projektör

N = Z Z^{T}

$N=ZZ^T$ nerede

Z

$Z$ sütun vektörüdür. Boş alanı kaldıran dikey projektör,

I - N

$I-N$ . (İlk yorumum bir hata yaptıysa,

Z

$Z$ temelidir,

N = I - Z Z^{T}

$N=I-ZZ^T$ projektördür.)

— Jed Brown