Konjugat Gradyan'ın en kötü durum karmaşıklığı nedir?

İzin Vermek $A\in \mathbb{R}^{n\times n}$, simetrik ve pozitif kesin. Diyelim ki$m$ bir vektörü çarpma iş birimleri $A$. CG algoritmasının gerçekleştirilmesinin,$A$ koşul numarası ile $\kappa$ gerektirir $\mathcal{O} (m\sqrt{\kappa})$, iş birimleri.

Şimdi, tabii ki, $\mathcal{O}$ifadesi bu bir üst sınırdır. Ve CG algoritması her zaman şanslı bir ilk tahminle sıfır adımda sonlanabilir.

Bir RHS ve gerektirecek ilk (şanssız) bir tahmin olup olmadığını biliyor muyuz? $\mathcal{\Theta}(\sqrt{\kappa})$adımlar? Başka bir deyişle, CG'nin gerçekten en kötü çalışma karmaşıklığı$\Theta( m \sqrt{\kappa})$?

Bu soru, bir ön koşullandırıcının (daha düşük) $\kappa$) maliyetini aştı (daha yüksek) $m$). Şu anda oyuncak problemleriyle çalışıyorum ve derlenmiş bir dilde herhangi bir şey uygulamadan önce daha iyi bir fikir edinmek istiyorum.

Cevap kocaman bir evet. Yakınsama hızı$(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ durum numarası ile simetrik pozitif belirli matrisler kümesi üzerinde keskin $\kappa$. Başka bir deyişle, hakkında daha fazla bir şey bilmemek$A$ durum numarasından daha fazla, CG gerçekten alabilir $\sim\sqrt{\kappa}$yakınsama yinelemeleri. Gevşek olarak, öz-değerlerin öz değerleri$A$ bir koşul numarası aralığında eşit olarak dağıtılır (yani "karabiber") $\kappa$.

İşte daha titiz bir ifade. Deterministik versiyonlar daha kapsayıcıdır ancak aynı prensipleri kullanarak çalışırlar.

Teorem (En kötü durum seçimi$A$). Herhangi bir rastgele dikey matris seçin$U$, İzin Vermek $\lambda_1,\ldots,\lambda_n$ olmak $n$ gerçek aralıktan eşit olarak örneklenmiş gerçek sayılar $[1,\kappa]$ve bırak $b=[b_1;\ldots;b_n]$ olmak $n$gerçek sayılar standart Gaussian'dan alındı. Tanımlamak

$$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$$ Sonra sınırda $n\to\infty$eşlenik gradyanlar olasılıkla bire yakınlaşır. $\epsilon$ doğru çözüm $Ax=b$ en az $\Omega(\sqrt{\kappa}\log\epsilon^{-1})$ yineleme.

Kanıt. Standart kanıt, Greenbaum'un kitabı veya Saad'ın kitabı gibi birçok yerde bulunan teknikleri kullanarak en uygun Chebyshev polinom yaklaşımlarına dayanmaktadır .

Bunu asıl sorum olarak almak: Bir RHS ve adımları gerektiren bir ilk (şanssız) tahmin olup olmadığını biliyor muyuz ?$\Theta(\sqrt{\kappa})$

Sorunun cevabı "hayır" dır. Bu cevabın fikri Guido Kanschat'ın yorumundan geliyor.

Talep: Verilen herhangi bir koşul sayısı için, CG algoritmasının en fazla iki adımda (belirli herhangi bir RHS ve ilk tahmin için) sona ereceği bir matrisi vardır .$k$$A$

Göz önünde burada . Sonra durumu numarası olan . Let RHS olabilir ve özdeğer ifade olarak burada $A\in \mathbb{R}^{n\times n}$$A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$$A$$\kappa$$b\in \mathbb{R}^n$$A$$\lambda_i$

$$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$$

İlk olarak, ilk tahminin sıfır olduğu durumu ele alacağız. CG algoritmasından ikinci tahmini olarak belirtin . Bu göstermektedir göstererek . Gerçekten de$x^{(0)} \in \mathbb{R}^n$$x^{(2)}\in \mathbb{R}^n$$A^{-1}b$$x^{(2)} =A^{-1}b$$\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

$$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$$

İlk sipariş polinom kullandığı yer gibi tanımlanmıştır . Bu yüzden için durumu kanıtladık .$\widehat{p}$$\widehat{p}(x)= (1+\kappa-x)/\kappa$$x^{(0)}= 0$

Eğer , o zaman burada CG algoritması ikinci tahmini ile ikame . Bu davayı bir öncekine indirdik. $x^{(0)} \not = 0$$x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$$\overline{x^{(2)} }$$b$$\overline{b} = b-A x^{(0)}$