Çapraz artı sabit simetrik doğrusal sistemler ön hesaplamadan sonra ikinci dereceden bir sürede çözülebilir mi?

21

sabit bir SPD matrisi olduğu ve pozitif diyagonal matrisler olduğu formunun doğrusal sistemlerini çözmek için bir $O(n^3+n^2 k)$ yöntemi var mı? $k$ $(D_i + A) x_i = b_i$ $A$ $D_i$

Örneğin, her bir $D_i$ skaler ise, SVD'sini hesaplamak için yeterlidir $A$ . Bununla birlikte, bu değişebilirlik eksikliğinden dolayı genel için bozulur $D$ .

Güncelleme : Şimdiye kadar cevaplar "hayır". Neden herhangi bir ilginç sezgi var mı? Yanıt olmaması, iki işe yaramaz operatör arasında bilgileri sıkıştırmanın önemsiz bir yolu olmadığı anlamına gelir. Çok şaşırtıcı değil, ama daha iyi anlamak harika olurdu.

— Geoffrey Irving
kaynak

SPD = yarı pozitif kesin mi?

— rcollyer

Evet, ancak SPD'siz de sorun aynıdır. Bu kısıtlamayı sadece sistemlerin asla tekil olmamasını sağlamak için ekledim.

— Geoffrey Irving

19

Sorunuza bulabildiğim en yakın olumlu cevaplar seyrek diyagonal pertürbasyonlar içindir (aşağıya bakınız).

Bununla birlikte, genel durum için herhangi bir algoritma bilmiyorum, ancak SPD matrislerinden tüm kare matrislere skaler kaymalar için bahsettiğiniz tekniğin genelleştirilmesi var:

Herhangi bir kare matris verilen , bir Schur ayrışma vardır , üniter ve üst üçgen olan ve ait sağlayan bir Schur ayrışma . Böylece, ön hesaplama fikriniz algoritma yoluyla tüm kare matrislere uzanır: $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ $A + \sigma I$

En fazla çalışmasında değerini hesaplayın . $[U,T]=\mathrm{schur}(A)$ $\mathcal{O}(n^3)$
Çözün, her ile de çalışma (orta tersinme sadece geri substitusyondur). $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ $\mathcal{O}(n^2)$

Bu akıl yürütme çizgisi , Schur ayrışması normal matrisler için bir EVD'ye düştüğü ve EVD Hermitian pozitif tanımlanmış matrisler için SVD ile çakıştığı için SPD olduğu zaman bahsettiğiniz yaklaşıma indirgenir. $A$

Güncelleme yanıtı: Elimde olmayan bir kanıt olana kadar, cevabın "hayır" olduğunu iddia etmeyi reddediyorum. Bununla birlikte, neden zor olduğu konusunda yanı sıra cevabın evet olduğu başka bir alt çanta hakkında bazı bilgiler verebilirim.

Temel zorluk, güncelleme çapraz olmasına rağmen, hala genel olarak tam sıralamada olduğundan, tersi güncellemek için birincil aracın, Sherman-Morrison-Woodbury formülü yardımcı görünmüyor. Skaler kayma durumu da tam rütbe olmasına rağmen, bahsettiğiniz gibi her matrisle gidip geldiği için son derece özel bir durumdur.

Bahsedilen her ise, seyrek, örneğin, her biri vardı nonzeros, daha sonra Sherman-Morrison Woodbury formülün bir verir her bir çifti ile çözmek . Örneğin, tek bir Sıfır dışındaki ile diyagonal giriş inci, böylece : $D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

$e_j$ $j$

$A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

— Jack Poulson
kaynak

12

$(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

$(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

$A^{-1}$

Güncellemeye verilen yanıt : @JackPaulson sayısal lineer cebir ve algoritmalar açısından harika bir noktaya değiniyor. Bunun yerine hesaplama karmaşıklığı argümanlarına odaklanacağım.

$n$

$\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

— Geoff Oxberry
kaynak

3

Henüz crossover'ın nerede olabileceğine dair somut bir açıklama görmedim, ancak birkaç saygın kaynak (uygulama sorunları bir yana), Coppersmith-Winograd'ın yakın gelecekte belleğe sığabilecek matris boyutları için standart yöntemleri yenemeyeceğini belirtti. (birkaç on yıl). Linpack kriterlerinin mevcut en iyi makinelerde çalışması bir günden fazla sürdüğü göz önüne alındığında, Coppersmith-Winograd'ın pratikte hiç kullanılmayacağı düşünülmüyor. Strassen aslında büyük problemler için pratiktir, ancak biraz daha az sayısal kararlıdır.

— Jed Brown

Bu beni şaşırtmıyor. Uygulama ayrıntıları için +1.

— Geoff Oxberry

6

$A+D$ $A$

\begin{aligned} A^{- 1} & = (A + D - D)^{- 1} (A + D) (A + D)^{- 1} \\ = [(A + D)^{- 1} (A + D - D)]^{- 1} (A + D)^{- 1} \\ = [I - (A + D)^{- 1} D]^{- 1} (A + D)^{- 1} \\ \approx [I + (A + D)^{- 1} D] (A + D)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

$A+D$

$D\gtrsim 0$ $D \lesssim \min \sigma(A)$

Ön koşullandırıcının kayması operatöre göre çok daha büyükse, bu yöntem gecikmeli operatör tarafından ön koşullandırmanın yaklaşık yarısı kadar bir koşul numarası üretme eğilimindedir (çalıştırdığım rastgele testlerde, belirli bir sınıf için daha iyi veya daha kötü olabilir matrisler). Koşul sayısındaki 2 faktörü, yineleme sayısında faktörü verir . Yineleme maliyetine olan çözücüler hakim olursa, bu birinci dereceden Taylor genişlemesini haklı çıkarmak için yeterli bir faktör değildir. Matris uygulaması orantılı olarak pahalıysa (örneğin, için sadece ucuz bir uygulama önkoşulunuz varsa ), bu birinci dereceden yöntem mantıklı olabilir. $\sqrt 2$ $A+D$ $A+D$

— Jed Kahve
kaynak