Pozitif bir kesin simetrik (kovaryans) matrisin tersi ile başa çıkmak

İstatistiklerde ve çeşitli uygulamalarında, genellikle çeşitli kullanımlar için pozitif kesin (dikkate alınan durumlarda) ve simetrik olan kovaryans matrisini hesaplıyoruz . Bazen, çeşitli hesaplamalar için bu matrisin tersine ihtiyaç duyarız (örneğin, (sadece) merkez matrisiyle bu tersi ile ikinci dereceden formlar). Bu matrisin nitelikleri ve kullanım amaçları göz önüne alındığında, merak ediyorum:

Sayısal kararlılık açısından, hesaplama ya da kullanma yolunda en iyisi nedir (genel olarak karesel formlar veya matris-vektör çarpımı için diyelim)? İşe yarayabilecek bazı faktörler?

Cholesky faktoringi , ters tersinin Cholesky benzeri bir faktörleşmesine , üst üçgen matrisi yol açar .$C=R^TR$$C^{-1}=SS^T$$S=R^{-1}$

Uygulamada, ters faktörü tutmak en iyisidir. Eğer seyrekse, kapalı tutulması genellikle daha iyidir , çünkü matris-vektör ürünleri iki üçgen sistemi ve çözerek hesaplanabilir .$R$$S$$y=C^{-1}x$$R^Tz=x$$Ry=z$

Bir Cholesky faktoringi, bir kovaryans matrisi ile çalışırken en iyi stabilite ve hız için en anlamlı olanıdır, çünkü kovaryans matrisi, yarı-kesin simetrik matris pozitif olacaktır. Cholesky burada doğal bir şey. FAKAT...

Eğer bir Cholesky faktoringini hesaplamayı düşünüyorsanız, kovaryans matrisini hesaplamadan önce kendinize bir iyilik yapın. Matrisinizde bir QR faktoringi hesaplayarak sorunu maksimum derecede sabit hale getirin. (Bir QR de hızlıdır.) Kovaryans matrisini şu şekilde hesaplarsanız,

burada çıkarıldı kolon aracı aldı, daha sonra bu formu görmek , bu kareler durum sayısı. Bu yüzden , Cholesky faktörleştirmesini açıkça hesaplamak yerine , QR faktörlerini oluşturmak daha iyidir .$A$$C$$A$$A^{T}A$

Q ortogonal olduğundan,

Böylece Cholesky faktörünü doğrudan QR faktoringinden, biçiminde elde ederiz . Bir Eğer -daha az QR çarpanlara mevcuttur, bu daha iyi gerekmez çünkü bile olduğunu . Bir beri -daha az QR, hesaplama için hızlı bir şeydir oluşturulan asla. Sadece Hanehalkı dönüşümlerinin bir dizisi haline gelir. (A sütunu döndürülebilir, -daha az QR mantıksal pivotlar seçmek için bazı ekstra iş pahasına, hatta daha istikrarlı olacaktır.)$R^{T}$$Q$$Q$$Q$$Q$$Q$

QR'yi burada kullanmanın en büyük erdemleri, kötü problemlerde sayısal olarak kararlı olmasıdır. Yine, bunun nedeni, Cholesky faktörünü hesaplamak için doğrudan kovaryans matrisini oluşturmak zorunda olmamamızdır. ürününü oluşturduğunuz anda , matrisin koşul numarasını düzenlersiniz. Etkili olarak, başlangıçta çok az bilgiye sahip olduğunuz bu matrisin bölümlerindeki bilgileri kaybediyorsunuz.$A^{T}A$

Son olarak, bir başka cevabın işaret ettiği gibi, tersini de hesaplayıp saklamanıza gerek yoktur, ancak üçgen sistemlerdeki ters çözücüler şeklinde örtük olarak kullanın.

Bunu ilk defa mathSE'in önerilerini kullanarak yaptım.

SVD sanırım çoğu kişi tarafından önerildi, ancak Cholesky'nin basitliğini seçtim:

Eğer matris , Cholesky kullanarak, üçgen matris . Daha sonra ters için (üst ya da alt üçgen olduğu bir L tercih bağlı olarak) backsubstitution veya forwardsubstitution kullanmak ı sahip olduğu biçimde, . Bundan hızlı bir şekilde hesaplayabilir .$M = A A^\top$$M$$L$$M = L L^\top$$L$$L^{-1}$$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top}L^{-1}$

İle başla:

$M = A A^\top$ , ki burada bilinir ve dolaylı olarak simetriktir ve ayrıca pozitif-kesindir.$M$

Cholesky faktoringi:

$M \rightarrow L L^\top$ , burada kare ve tekil olmayan$L$

Back-ikamesi:

$L \rightarrow L^{-1}$ , muhtemelen yi ters çevirmenin en hızlı yolu (bu konuda bana alıntı yapma)$L$

Çarpma işlemi:

$M^{-1} = \left(L L^\top\right)^{-1} = L^{-\top} L^{-1}$

Kullanılan gösterim: Alt indeksler satırlar, üst indeksler sütunlar ve , in devridir.$L^{-\top}$$L^{-1}$

Cholesky algoritmam (muhtemelen Nümerik Tarifler veya Wikipedia'dan)

$L_i^j = \frac{M_i^j - M_i \cdot M_j}{M_i^i - M_i \cdot M_i}$

Bu neredeyse yerinde yapılabilir (diyagonal elemanlar, bir akümülatör ve bazı tamsayı yineleyiciler için geçici olarak depolamaya ihtiyacınız vardır).

Geri ikame algoritmam (Numerical Recipes'dan, LaTeX işaretlemesinde bir hata yapmış olabileceğim için sürümlerini kontrol et)

$\left(L^{-1}\right)_i^j = \left\{\begin{array}{11} 1 / {L_i^i} & \mbox{if } i = j\\ \left(-L_i \cdot \left(L^{-T}\right)_j\right) / L_i^i & \mbox{otherwise} \end{array}\right.$

Olarak matrisi üzerine Eğer yineleme önemli olduğu düzeni (sonuç matrisinin bazı parçalar önceden hesaplanmalıdır bunun diğer parçalar bağlıdır), ifade görünür. Koddaki eksiksiz bir örnek için Sayısal Tarifler kodunu kontrol edin. [Düzenle]: Aslında, Nümerik Tarifler örneğini kontrol etmen yeterli. Nokta-ürünlerini kullanarak çok fazla sadeleştirdim, yukarıdaki denklemin hangi sırayla yinelemelisiniz olursa olsun döngüsel bir bağımlılığı olduğu noktaya gelince ...$L^{-T}$

Matrisin bir tersi olduğunu (yani, gerçekten kesin olarak tanımlanmışsa) biliyorsanız ve çok büyük değilse, Cholesky ayrışımı, bir matrisin tersini karakterize etmek için uygun bir yol sunar.