Ortogonal dönüşümler Gauss ortadan kaldırılmasını ne zaman geride bırakıyor?

Bildiğimiz gibi, lineer denklem sistemleri için ortogonal dönüşüm yöntemleri (Givens rotasyonları ve Housholder yansımaları) Gauss eleme işleminden daha pahalıdır, ancak teorik olarak sistemin durum sayısını değiştirmeyecek şekilde daha iyi stabilite özelliklerine sahiptir. Her ne kadar Gauss'un ortadan kaldırılmasıyla kısmi dönme ile bozulan bir matrisin sadece bir akademik örneğini biliyorum . Ve bu tür davranışları pratikte yerine getirmenin pek mümkün olmadığı konusunda ortak bir görüş vardır ( bu ders notlarına bakınız [pdf] ).

Peki konuyla ilgili cevabı nerede arayacağız? Paralel uygulamalar? Güncelleniyor? ..

doğruluk

Trefethen ve Schreiber , sorunuzun doğruluğunu tartışan, Gauss Eliminasyonunun Ortalama Durum Kararlılığı üzerine mükemmel bir makale yazdı . İşte sonuçlarından bazıları:

1. "Ya da sütun pivotlanmadan QR çarpanlara için, artık matrisin ortalama maksimal elemanıdır Gauss ortadan kaldırılması için bu ise, O ( n ) . Bu karşılaştırma Gauss yok hafif kararsız olduğunu ortaya koymaktadır, ancak kararsızlık sadece düşük hassasiyette çözülmüş çok büyük matris problemleri için tespit edilebilir. Çoğu pratik problem için Gauss eleme ortalama olarak oldukça stabildir. ”(Vurgu madeni)$O(n^{1/2})$$O(n)$

2. “Gauss elemesinin ilk birkaç adımından sonra, kalan matris elemanları, bu şekilde başlayıp başlamadıklarına bakılmaksızın yaklaşık olarak normal şekilde dağıldı.”

Burada ele alamayacağım çok fazla şey var, bahsettiğiniz en kötü durum matrisinin tartışılması da dahil, bu yüzden okumanızı şiddetle tavsiye ediyorum.

performans

Kare reel matrisler için, kısmi dönme ile LU yaklaşık gerektirir Householder tabanlı QR kabaca gerektirir, oysa flop 4 / 3 , n 3 flop. Bu nedenle, oldukça büyük kare matrisler için QR faktoringi, LU faktoringin sadece iki katı kadar pahalı olacaktır.$2/3 n^3$$4/3 n^3$

İçin matrisler, m ≥ n , kısmi dönme ile LU gerektirir m , n 2 - n, 3 / 3 , karşı flop QR en 2 m , n 2 - 2 , n 3 / 3 (iki kez halen geçerli olduğu bu LU faktörleştirme). Bununla birlikte , bu uygulamaların çok uzun sıska matrisleri (üretmek için şaşırtıcı derecede yaygındır m » n ) ve Demmel ve diğ. güzel bir makaleye sahip, İletişimden kaçınan paralel ve sıralı QR faktoringi$m \times n$$m \ge n$$mn^2 - n^3/3$$2mn^2 - 2n^3/3$$m \gg n$(4. bölümde) , geleneksel yaklaşımların n log p mesajları yerine , p işlemciler kullanıldığında sadece mesajlarının gönderilmesini gerektiren akıllı bir algoritmayı tartışmaktadır . Gider yani O ( n, 3 günlük p ) ilave flop gerçekleştirilir, ama çok küçük için , n , bu çoğu zaman (en azından tek bir QR çarpanlara ihtiyaçları yapılması gereken zaman) daha fazla mesaj göndermek gecikme maliyeti açısından tercih edilmektedir.$\log p$$p$$n \log p$$O(n^3 \log p)$$n$

Hiç kimsenin bilimsel hesaplamada sık rastlanan doğrusal en küçük kareler problemlerinden bahsetmediğine şaşırdım . Gauss ortadan kaldırılmasını kullanmak istiyorsanız, aşağıdaki gibi görünen normal denklemleri oluşturmalı ve çözmelisiniz:

burada bağımsız değişken gözlemlerine gelen veri noktaları bir matris, X parametrelerinin bir vektör bulunabilir, ve b bağımlı bir değişkenin gözlem tekabül eden veri noktaları bir vektördür.$A$$x$$b$

Jack Poulson’un sık sık işaret ettiği gibi, koşul sayısı A koşul sayısının karesidir , bu nedenle normal denklemler feci bir şekilde şartlandırılmayabilir. Bu gibi durumlarda, QR ve SVD tabanlı yaklaşımlar daha yavaş olmasına rağmen, çok daha doğru sonuçlar vermektedir.$A^{T}A$$A$

Performansı nasıl ölçersiniz? Hız? Doğruluk? İstikrar? Matlab'da yapılan hızlı bir test aşağıdakileri verir:

>> N = 100;
>> A = randn(N); b = randn(N,1);
>> tic, for k=1:10000, [L,U,p] = lu(A,'vector'); x = U\(L\b(p)); end; norm(A*x-b), toc
ans =
   1.4303e-13
Elapsed time is 2.232487 seconds.
>> tic, for k=1:10000, [Q,R] = qr(A); x = R\(Q'*b); end; norm(A*x-b), toc             
ans =
   5.0311e-14
Elapsed time is 7.563242 seconds.

Tek bir sistemin LU dekompozisyonu ile çözülmesi, bir QR dekompozisyonuyla çözmenin yaklaşık üç katıdır, ondalık bir ondalık basamağa kadar (bu örnek!).

Alıntı ettiğiniz yazı, Gauss Eliminasyonunu sayısal olarak dengesiz olmasına rağmen rastgele matrislerde iyi yapma eğiliminde olduğunu ve çoğu matrisin rastgele matrisler gibi olduğunu düşündüğümüzü söyleyerek savunuyor. Bu aynı ifadenin sayısal olarak dengesiz birçok yöntemden söz edilebilir.

Tüm matrislerin uzayını düşünün. Bu yöntemler hemen hemen her yerde iyi sonuç verir. Yani 99.999 ... bir yarattığı tüm matrislerin% 'si kararsız yöntemlerle hiç problem yaşamayacak. GE ve diğerlerinin zorluk yaşayacağı sadece çok küçük bir matris kesri var.

Araştırmacıların ilgilendiği problemler bu küçük kesirde olma eğilimindedir.

Matrisleri rastgele oluşturmuyoruz. Çok özel, rastgele olmayan sistemlere karşılık gelen çok özel özelliklere sahip matrisler inşa ediyoruz. Bu matrisler çoğu zaman şartsızdır.

Geometrik olarak tüm matrislerin lineer uzayını düşünebilirsiniz. Bu boşlukta kesilen tekil matrislerin sıfır hacim / ölçü alt alanı var. İnşa ettiğimiz birçok sorun bu alt alan etrafında toplanmıştır. Rasgele dağıtılmazlar.

Örnek olarak, ısı denklemini veya dağılımını düşünün. Bu sistemler sistemden bilgi çıkarma eğilimindedir (tüm başlangıç ​​durumları tek bir son duruma çeker) ve sonuç olarak bu denklemleri tanımlayan matrisler son derece tekildir. Bu işlem, rastgele bir durumda, fiziksel sistemlerde her yerde bulunmaz.