Doğrusal bir denklem sisteminin çözümü sadece ilk birkaç değişken için tahmin edilebilir mi?

M büyüklüğünde mxm boyutunda doğrusal bir denklem sistemim var. Ancak, ilgilendiğim değişkenler sadece ilk n değişkenidir (n, m'ye kıyasla küçüktür). Tüm sistemi çözmek zorunda kalmadan ilk m değerleri için çözümü yaklaşık olarak tahmin edebilmemin bir yolu var mı? Öyleyse, bu yaklaşım tam doğrusal sistemi çözmekten daha hızlı olur mu?

Diğerlerinin de belirttiği gibi, bunun doğrudan bir çözücü ile yapılması zordur. Bununla birlikte, yinelemeli çözücülerle yapmak o kadar da zor değil. Bu amaçla, yinelemeli çoğu çözücünün bir şekilde normlara göre hatayı en aza indirdiğini unutmayın. Çoğu zaman, bu norm ya matrisin kendisi tarafından uyarılır, ancak bazen aynı zamanda sadece l2 vektör normudur. Ancak durum böyle olmak zorunda değildir: Hatayı (veya kalıntıyı) en aza indirmek istediğiniz normu seçebilir ve örneğin, 1 ile önem verdiğiniz bileşenleri tarttığınız bir norm seçebilirsiniz. 1e-12 ile diğerleri, örneğin (1e-24) ∑ N i = 6 x 2 i ve karşılık gelen skaler ürün. Ardından, bu norm ve skaler ürüne göre yinelemeli çözücünün tüm adımlarını yazın ve önem verdiğiniz vektör öğelerine diğerlerine göre önemli ölçüde daha fazla dikkat eden bir yinelemeli çözücü alırsınız.$|| x ||^2 = \sum_{i=1}^5 x_i^2 +$$\sum_{i=6}^N x_i^2$

Soru, tüm bileşenleri eşit olarak tartan norm / skaler üründen daha az yinelemeye ihtiyacınız olup olmadığıdır. Ama bu gerçekten böyle olmalı: diyelim ki sadece ilk beş vektör öğesini önemsiyorsunuz. O zaman hatayı 1e12 faktörü ile azaltmak için en fazla beş yinelemeye ihtiyacınız vardır, çünkü bunları tanımlayan 5x5 sistemi için beş yineleme gereklidir. Bu bir kanıt değil, ancak normdaki ağırlık (yukarıdaki 1e-12), doğrusal sistemi tekrarlı olarak çözmek istediğiniz toleranstan daha küçükse, çok daha az sayıda yinelemeden kurtulmanız gerektiğinden eminim. .

Schur tamamlayıcısının oluşturulması

Varsayalım ki matrisinizi forma böltünüz.

öyle ki ilgi derecelerinizi içerecek ve A 11'den çok daha küçük olacaksa, o zaman Schur tamamlayıcısını oluşturabilirsiniz$A_{22}$$A_{11}$

ya kısmi sağa bakan bir LU çarpanlarına ayırma ya da açık formül aracılığıyla, ve sonra aşağıdaki anlamda anlaşılabilir:$S_{22}$

burada , çözümün 'ilgisiz' kısmını temsil eder. Bu nedenle, Schur tamamlayıcısı S 22'nin serbestlik derecelerinde sadece sıfır olmayan bir sağ taraf sağlandığında , çözeltinin bu serbestlik derecelerine karşılık gelen kısmını elde etmek için sadece S 22'ye karşı çözmemiz gerekir .$\star$$S_{22}$$S_{22}$

Yapılandırılmamış yoğun vakada hesaplama karmaşıklığı

Ayarlama yüksekliğine A ve n, yüksekliğine A 22 , daha sonra işlem için standart bir yöntem S 22 birinci faktör olan L 11 U 11 : = bir 11 kabaca (şimdilik döner kabul edelim;) 2 / 3 ( N - n ) 3 iş, sonra oluşturmak$N$$A$$n$$A_{22}$$S_{22}$$L_{11} U_{11} := A_{11}$$2/3 (N-n)^3$

gerektiren iki üçgen kullanarak çözer iş her biri ve daha sonra, güncelleştirme işlemini A 22 içinde 2 N 2 ( N - n ) çalışması.$n(N-n)^2$$A_{22}$$2n^2 (N-n)$

Bu durumda, toplam çalışma kabaca . Zaman n, çok küçük, N - n ≈ N maliyeti kabaca olduğu görülebilir, böylece 2 / 3 , N 3 tam çarpanlara maliyetidir.$2/3 (N-n)^3 + 2n(N-n)^2 + 2n^2 (N-n)$$n$$N-n \approx N$$2/3 N^3$

Faydası, aynı denklem sistemi ile çözülecek çok sayıda sağ taraf varsa, potansiyel olarak çok sayıda tekrar kullanılabileceği ve her bir çözümün sadece 2 n 2 çalışma gerektireceği S 22 çarpanlarına ayrılırsa ( 2 N 2 çalışması yerine ) .$S_{22}$$2n^2$$2N^2$$S_{22}$

(Tipik) seyrek vakada hesaplama karmaşıklığı

Seyrek sisteminiz bir tür sonlu farktan veya sonlu eleman yaklaşımından kaynaklanıyorsa, seyrek doğrudan çözücüler neredeyse kesinlikle yapının bir kısmını kullanabileceklerdir; 2d sistemleriyle çözülebilir çalışma ve O ( N günlük K ) 3d sistemleriyle çözülebilir ise, depolama O ( N 2 ) çalışması ve O ( N 4 / 3 ) depolama. Faktörlü sistemler daha sonra depolama gereklilikleriyle aynı miktarda işle çözülebilir.$O(N^{3/2})$$O(N \log N)$$O(N^2)$$O(N^{4/3})$

Hesaplama karmaşıklıklarını ortaya çıkarmanın amacı, eğer ve bir 2d sisteminiz var, o zaman Schur tamamlayıcısı muhtemelen yoğun olacağından, faktörlü Schur tamamlayıcısı verilen çözme karmaşıklığıO(n2)=O(N) olacaktır; sistemi! 3d, bu gerektirirO(K)yerine çalışmaO(N 4 / 3 ).$n \approx \sqrt{N}$$O(n^2) = O(N)$$O(N)$$O(N^{4/3})$

Bu nedenle, $n=\sqrt{N}$, there will only be significant savings if you're working in several dimensions and have many right-hand sides to solve.

The model reduction approach

Since Paul asked, I'll talk about what happens if you use projection-based model reduction methods on this problem. Suppose that you could come up with a projector $\mathbf{P}$ such that the range of $\mathbf{P}$, denoted $\mathcal{R}(\mathbf{P})$, contains the solution to your linear system $\mathbf{Ax} = \mathbf{b}$, and has dimension $k$, where $k$ is the number of unknowns for which you wish to solve in a linear system.

A singular value decomposition of $\mathbf{P}$ will yield the following partitioned matrix:

The matrices obscured by stars matter for other things (like estimating error, etc.), but for now, we'll avoid dealing with extraneous details. It follows that

is a full rank decomposition of $\mathbf{P}$.

Essentially, you'll solve the system

in a clever way, because $\mathbf{V}$ and $\mathbf{W}$ also have the property that $\mathbf{W}^{T}\mathbf{V} = \mathbf{I}$. Multiplying both sides of $\mathbf{PAx} = \mathbf{Pb}$ by $\mathbf{W}^{T}$ and letting $\mathbf{y} = \mathbf{V}\widehat{\mathbf{x}}$ be an approximation for $\mathbf{x}$ yields

Solve for $\widehat{\mathbf{x}}$, premultiply it by $\mathbf{V}$, and you have $\mathbf{y}$, your approximation for $\mathbf{x}$.

Why the Schur complement approach is probably better

For starters, you have to pick $\mathbf{P}$ somehow. If the solution to $\mathbf{Ax} = \mathbf{b}$ is in $\mathcal{R}(\mathbf{P})$, then $\mathbf{y} = \mathbf{x}$, and $\mathbf{y}$ isn't an approximation. Otherwise, $\mathbf{y} \neq \mathbf{x}$, and you introduce some approximation error. This approach doesn't really leverage at all the structure you mentioned wanting to exploit. If we pick $\mathbf{P}$ such that its range is the standard unit basis in the coordinates of $\mathbf{x}$ you want to calculate, the corresponding coordinates of $\mathbf{y}$ will have errors in them. It's not clear how you'd want to pick $\mathbf{P}$. You could use an SVD of $\mathbf{A}$, for instance, and select $\mathbf{P}$ to be the product of the first $k$ left singular vectors of $\mathbf{A}$ and the adjoint of the first $k$ right singular vectors of $\mathbf{A}$, assuming that singular vectors are arranged in decreasing order of singular value. This choice of projector would be equivalent to performing proper orthogonal decomposition on $\mathbf{A}$, and it would minimize the L$_{2}$-error in the approximate solution.

In addition to introducing approximation errors, this approach also introduces three extra matrix multiplies on top of the linear solve of the smaller system and the work needed to calculate $\mathbf{V}$, and $\mathbf{W}$. Unless you're solving the same linear system a lot, only changing the right hand side, and $\mathbf{P}$ is still a "good" projection matrix for all of those systems, those extra costs will probably make solving the reduced system more expensive than solving your original system.

The drawbacks are much like JackPoulson's approach, except that you're not quite leveraging the structure that you mentioned.

The long answer is...sort of.

You can re-arrange your system of equations such that the farthest right $k$ columns are the variables which you wish to solve for.

Step 1: Perform Gaussian Elimination so that the matrix is upper triangular. Step 2: solve by back substitution for only the first (last) $k$ variables which you are interested in

This will save you the computational complexity of having to solve for the last $n-k$ variables via back-substitution, which could be worth it if $n$ is as large as you say. Keep in mind that a fair amount of work will still have to be done for step 1.

Also, keep in mind that restricting the order in which you are going to perform back-substituion may restrict the form of the matrix (it takes away the ability to exchange columns) which could possibly lead to an ill conditioned system, but I am not sure about that - just something to keep in mind.