Neredeyse tekil sistemlere uygulanan iteratif doğrusal çözücüler için durma kriterleri

$Ax=b$ $A$ $\lambda_0$ $A$ $r_n:=b-Ax_n$ $\|r_n\|/\|r_0\|<tol$ $n$ $v$ $\lambda_0$ $Av=\lambda_0v$ . İlk kalıntı büyük olduğunu varsayalım , o zaman ancak hatası hala büyüktür. Bu durumda daha iyi bir hata göstergesi nedir? Mıiyi bir aday mı? $r_0$ $\|r_n\|/\|r_0\|<tol$ $x_n-x$ $\|x_{n}-x_{n-1}\|$

linear-algebra

— Hui Zhang
kaynak

"Neredeyse tekil" tanımınızı düşünmek isteyebilirsiniz.

matrisinin

I \cdot ϵ

$I \cdot \epsilon$ (

ϵ ≪ 1

$\epsilon\ll 1$ ve

I

$I$ kimlik matrisi ile) çok küçük bir özdeğer vardır, ancak herhangi bir matrisin olabildiği kadar tekildir.

— David Ketcheson

Ayrıca,

yanlış gösterime benziyor.

daha tipik, değil mi?

| | r_{n} / r_{0} | |

$||r_n/r_0||$

| | r_{n} | | / | | r_{0} | |

$||r_n||/||r_0||$

— Bill Barth

Evet, haklısın Bill! Bu hatayı düzeltirim.

— Hui Zhang

Ne hakkında

? ve algoritmanız tam olarak nedir?

‖ b - A x ‖ / ‖ b ‖

$\| b - Ax \| / \| b \|$

— shuhalo

Zeyilname: Bence aşağıdaki yazı en azından CG kullanıyorsanız endişe ettiğiniz koşulsuz sistemlere oldukça fazla değer vermektedir: Axelson, Kaporin: Ön koşullu eşlenik gradyan yinelemelerinde hata normu tahmini ve durdurma kriterleri. DOI: 10.1002 / nla.244

— shuhalo

Yanıtlar:

Lütfen bir durdurma ölçütü tanımlamak için birbirini takip eden yinelemeler arasındaki farkı asla kullanmayın. Bu yakınsama için durgunluğu yanlış teşhis eder. Çoğu simetrik olmayan matris yinelemesi monoton değildir ve yeniden başlatma olmadan kesin aritmetik olarak GMRES bile aniden yakınsamadan önce rastgele sayıda yineleme (matrisin boyutuna kadar) için durağanlaşabilir. Bkz. Nachtigal, Reddy ve Trefethen (1993) .

Yakınsama tanımlamanın daha iyi bir yolu

Genellikle çözümümüzün doğruluğuyla, kalanın boyutundan daha fazla ilgileniriz. Spesifik olarak, yaklaşık bir çözüm ile kesin çözüm arasındaki farkın karşılandığını garanti etmek isteriz bir kullanıcı tarafından belirtilen için . Bir bularak bu elde edebilirsiniz ortaya çıkıyor ki burada küçük tekil değer nedeniyle, $x_n$ $x$

| x_{n} - x | < c

$|x_n - x| < c$

c

$c$

x_{n}

$x_n$

| bir x_{n} - b | < c ε

$|A x_n - b| < c\epsilon$

ϵ

$\epsilon$

A

$A$

\begin{aligned} | x_{n} - x | & = | A^{- 1} A (x_{n} - x) | \\ \leq \frac{1}{ϵ} | A x_{n} - A x | \\ = \frac{1}{ϵ} | A x_{n} - b | \\ < \frac{1}{ϵ} \cdot c ϵ = c \end{aligned}

$\begin{align} |x_n - x| &= |A^{-1} A (x_n - x)| \\ & \le \frac 1 \epsilon |A x_n - A x| \\ & = \frac 1 \epsilon |A x_n - b| \\ & < \frac 1 \epsilon \cdot c \epsilon = c \end{align}$

burada değerinin en büyük tekil değeri (ikinci satır) olduğunu ve (üçüncü satır) tam olarak çözdüğünü kullandık . $1/\epsilon$ $A^{-1}$ $x$ $A x = b$

En küçük tekil değeri tahmin etme $\epsilon$

En küçük tekil değerin doğru bir tahmini genellikle problemden doğrudan elde edilemez, ancak konjugat gradyan veya GMRES yinelemesinin bir yan ürünü olarak tahmin edilebilir. Büyük özdeğerler ve tekil değerlerin tahminler genellikle sadece birkaç tekrardan sonra oldukça iyi olmasına rağmen, en küçük özdeğer / tekil değer doğru bir tahmin, söz konusu Not yakınsama ulaşıldığında genellikle sadece elde edilir. Yakınsama öncesinde, tahmin genellikle gerçek değerden önemli ölçüde daha büyük olacaktır. Bu, doğru toleransı tanımlayabilmeniz için denklemleri gerçekten çözmeniz gerektiğini gösterir . Kullanıcı tarafından sağlanan doğruluğu alan otomatik yakınsama toleransı $\epsilon$ $c\epsilon$ $c$ çözüm için ve en küçük tekil değeri Krylov yönteminin mevcut durumu ile tahmin eder, çünkü tahmini gerçek değerden çok daha büyüktür. $\epsilon$ $\epsilon$

notlar

Ayrıca ile çalışır Yukarıdaki tartışma sol-ön şartlandırılmış operatör ile ikame ve ön şartlandırılmış kalıntı ya da sağ-ön şartlandırılmış operatörü ile ve hata . Eğer $A$ $P^{-1}A$ $P^{-1} (A x^n - b)$ $A P^{-1}$ $P (x_n - x)$ $P^{-1}$ iyi bir önkoşulsa, önkoşullu operatör iyi koşullandırılacaktır. Sol ön koşullandırma için bu, ön koşullandırılmış artık miktarın küçük hale getirilebileceği, ancak gerçek artık yapılamayacağı anlamına gelir. Doğru ön koşullandırma için kolayca küçük yapılır, ancak gerçek hata olmayabilir. Bu, sol ön koşullandırmanın hatayı küçük yapmak için neden daha iyi olduğunu gösterirken, sağ ön koşullandırma, artık küçük yapmak (ve kararsız önkoşullarda hata ayıklamak için) daha iyidir. $|P(x_n - x)|$ $|x_n-x|$
GMRES ve CG tarafından en aza indirilmiş normlar hakkında daha fazla tartışma için bu cevaba bakınız .
Ekstremal tekil değerlerin tahminleri -ksp_monitor_singular_valueherhangi bir PETSc programı kullanılarak izlenebilir . Koddan tekil değerleri hesaplamak için KSPComputeExtremeSingularValues () öğesine bakın .
Tekil değerleri tahmin etmek için GMRES kullanırken, yeniden başlatmaların kullanılmaması çok önemlidir (örn -ksp_gmres_restart 1000. PETSc'de).

— Jed Kahve
kaynak

' 'de A ile çalışan bir önceden ayarlanmış operatör ile ikame' - Bununla birlikte, daha sonra, sadece önceden uygun kalıntı için geçerlidir

eğer

kullanıldığında, solunum. Önceden kıvama getirilen hata için

ise

kullanılır.

P^{- 1} r

$P^{-1}r$

P^{- 1} A

$P^{-1}A$

P^{- 1} δ x

$P^{-1}\delta x$

A P^{- 1}

$AP^{-1}$

— Arnold Neumaier

İyi bir nokta, cevabımı düzenledim. Sağ koşullu kasanın size

kontrolünü verdiğini , ön koşullayıcının (

uygulayarak) çözülmesinin hatadaki düşük enerji modlarını yükselttiğini unutmayın.

P δ x

$P\delta x$

P^{- 1}

$P^{-1}$

— Jed Brown

Bu soruna bakmanın bir başka yolu, araçları ayrık ters problemlerden, yani veya burada çok kötü durumdaki (yani, ilk ve son tekil değeri arasındaki oran büyüktür). $Ax=b$ $\min ||Ax-b||_2$ $A$ $\sigma_1/\sigma_n$

Burada, durdurma ölçütünü seçmek için birkaç yöntemimiz var ve yinelemeli bir yöntem için, L-eğrisi ölçütünü öneriyorum çünkü sadece zaten mevcut olan miktarları içeriyor (YASAL UYARI: Danışmanım bu yönteme öncülük etti, bu yüzden kesinlikle o). Bunu yinelemeli bir yöntemle başarıyla kullandım.

Fikir, artık normu izlemek ve çözelti normu , burada , 'yinelemesidir. Yinelediğinizde, bu, bir log (rho, eta) grafiğinde bir L şeklini çizmeye başlar ve bu L'nin köşesindeki nokta en uygun seçimdir. $\rho_k=||Ax_k-b||_2$ $\eta_k=||x_k||_2$ $x_k$ $k$

Bu, köşeyi geçtiğinizde (örn. gradyanına bakarak) göz kulak olduğunuz bir ölçüt uygulamanıza ve ardından köşede bulunan yinelemeyi seçmenize olanak tanır . $(\rho_k,\eta_k)$

Bunu yaptığım şekilde son 20 yinelemeyi saklamak gerekiyordu ve eğer gradyan $abs(\frac{\log(\eta_k)-\log(\eta_{k-1})}{\log(\rho_k)-\log(\rho_{k-1})})$

Köşeyi bulmak için daha ayrıntılı yöntemler de vardır ve bunlar daha iyi çalışır, ancak önemli sayıda yinelemenin depolanmasını gerektirir. Onunla biraz oynayın. Matlabdaysanız, bazılarını uygulayan Regularization Tools (Düzenleme Araçları) araç kutusunu kullanabilirsiniz (özellikle "köşe" işlevi geçerlidir).

Bu yaklaşımın özellikle büyük ölçekli problemler için uygun olduğunu unutmayın, çünkü fazladan hesaplama zamanı çok küçüktür.

— OscarB
kaynak

Çok teşekkürler! Loglog (rho, eta) grafiğinde L eğrisinin sağından başlayıp L'nin üstünde bitiyoruz, değil mi? Bu kriterin arkasındaki prensibi bilmiyorum. Neden her zaman L eğrisi gibi davrandığını ve neden köşeyi seçtiğimizi açıklayabilir misiniz?

— Hui Zhang

| | A x - b | |_{2} = | | e | |_{2}

$||Ax-b||_2=||e||_2$

e

$e$

b_{e x a c t} = b + e

$b_{exact}=b+e$ . Daha fazla analiz için bakınız Hansen, PC ve O'Leary, DP (1993). Kesikli yanlış pozlanmış problemlerin düzenli hale getirilmesinde L eğrisinin kullanılması. SIAM Bilimsel Hesaplama Dergisi, 14. Gönderiye hafif bir güncelleme yaptığımı unutmayın.

— OscarB

@HuiZhang: her zaman bir L değil . Düzenleme belirsiz ise, çözüm için iki aday olabilir, biri brüt özellikli daha iyi çözüldü, diğeri belirli detaylar daha iyi çözüldü. (Ve elbette, mor ecomplex şekiller görünebilir.)

— Arnold Neumaier

L-eğrisi benzersiz bir çözüm olması gereken koşulsuz problemler için geçerli mi? Yani, b = "tam olarak" bilinen ve A neredeyse tekil ama yine de teknik olarak tersine çevrilebilir olan Ax = b problemleriyle ilgileniyorum. Bana öyle geliyor ki, GMRES gibi bir şey kullanırsanız, mevcut x tahmininizin normu zaman içinde çok fazla değişmez, özellikle ilk yinelemeden sonra. Bana öyle geliyor ki L eğrisinin dikey kısmı, kötü bir problemde benzersiz / geçerli bir çözüm olmadığı için meydana geliyor; bu dikey özellik tüm koşulsuz problemlerde mevcut mu?

— nukeguy

Bir noktada, tipik olarak çözüm yönteminizdeki sayısal hataların || Ax-b || azalmıyor. Bununla birlikte, bu tür gürültüsüz problemlerde eğrinin her zaman L gibi görünmemesi haklısınız, yani genellikle seçim yapabileceğiniz birkaç köşeniz var ve diğerinden birini seçmek zor olabilir. Yukarıdaki yorumumda bahsettiğim makalenin gürültüsüz senaryoları kısaca tartıştığına inanıyorum.

— OscarB

Neredeyse tekil sistemlere uygulanan iteratif doğrusal çözücüler için durma kriterleri

Yakınsama tanımlamanın daha iyi bir yolu

En küçük tekil değeri tahmin etme ϵϵ\epsilon

notlar

En küçük tekil değeri tahmin etme $\epsilon$