Düşük seviyeli lineer sistemin hızlı hesaplanması / tahmini

Doğrusal denklem sistemleri, hesaplama istatistiklerinde yaygındır. Karşılaştığım özel bir sistem (örneğin, faktör analizinde) sistemdir

bir x = b

$Ax=b$

burada Burada , kesinlikle pozitif bir diyagonal olan bir diyagonal matristir, bir ( ) simetrik pozitif yarı tanımlanmış matristir ve isteğe bağlı bir matrisi. Düşük dereceli bir matris tarafından bozulan çapraz doğrusal bir sistemi (kolay) çözmemiz istenir. Yukarıdaki sorunu çözmenin naif yolu Woodbury'nin formülünü kullanarak tersine çevirmektir

bir = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ . Bununla birlikte, bu doğru gelmiyor, çünkü Cholesky ve QR faktörizasyonları genellikle doğrusal sistemlerin (ve normal denklemlerin) çözümünü dramatik bir şekilde hızlandırabilir. Geçenlerde Cholesky yaklaşımını benimseyen aşağıdaki makaleye geldim ve Woodbury'nin inversiyonunun sayısal istikrarsızlığından bahsediyor. Ancak, makale taslak formda görünüyor ve sayısal deneyler veya destekleyici araştırmalar bulamadım. Açıkladığım problemi çözmek için en son teknoloji nedir?

— noksan
kaynak

@gappy,

(Woodburry formülündeki orta vadeli ) matrisi için QR (veya Cholesky) ayrışmasını kullanmayı düşündünüz mü? Kalan işlemler basit matris çarpımlarıdır. Ana istikrarsızlık kaynağı

hesaplanmasıdır . Yana

daha hızlı QR daha bütün matris olacak Woodbury ile kombine QR veya Cholesky bu uygulama şüpheli

. Bu elbette bir sanat durumu değil, sadece genel gözlemlerdir.

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

— mpiktas

Ben içinde ne olduğunu Matthias Seeger savunmaktadır şüpheli

tekniğin bilinen durumunun, o çok parlak bir adamla ve sorunların bu tür o inceler modellerin ayni defalarca çıkabilirler. Aynı nedenlerle Cholesky tabanlı yöntemler kullanıyorum. Golub ve Van Kredi tarafından "Matrix Computations" 'da bu tür şeyler için standart referans olan bir tartışma olduğundan şüpheleniyorum (elimde kopya olmamasına rağmen).

ϵ

$\epsilon$

— Dikran Marsupial

Not bu alarak

sorunun sistemi çözme eşdeğerdir

burada

. Yani, bu problemi biraz basitleştiriyor. Şimdi, izin

, bunu biliyoruz

pozitif yarı kesin en fazla ile

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

pozitif özdeğerler. Yana

, bulma

büyük özdeğerler ve ilgili özvektörler çeşitli şekillerde yapılabilir. Çözelti daha sonra,

ve eigendecomposition verir

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$

— kardinal

Küçük düzeltmeler: (1) eşdeğer bir sistemdir

ve (2) Nihai çözüm

. (Bir düşmüştü

önünde

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$ Her iki durumda da tüm terslerin diyagonal matrislere ve dolayısıyla önemsiz olduğuna dikkat edin.

— kardinal

@mpiktas: Sanırım

demek istediniz çünkü matris ürününün yazdığınız versiyonda boyut uyuşmazlığı nedeniyle iyi tanımlanmamış. :)

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

— kardinal

Golub & van Loan'ın "Matrix Computations" adlı bölümü, rütbe-p güncellemelerinden sonra QR ve Cholesky faktörizasyonlarının güncellenmesi hakkında bölüm 12.5.1'de ayrıntılı bir tartışmaya sahiptir.

— Fabian Pedregosa
kaynak

Biliyorum ve ilgili lapack fonksiyonları hem bağlantılı olduğum makalede hem de kitapta belirtiliyor. Ancak merak ediyorum, eldeki problem için en iyi uygulama nedir, genel güncelleme problemi için değil.

— gappy