NumPy, belirsiz sistemler için en küçük kareleri nasıl çözer?

Diyelim ki X şekilli (2, 5)
ve y şekilli (2,)

Bu çalışıyor: np.linalg.lstsq(X, y)

Bunun sadece X şeklindeyse (N, 5) N> = 5 olduğunda çalışmasını bekleriz Ama neden ve nasıl?

Beklendiği gibi 5 ağırlık geri alıyoruz, ancak bu sorun nasıl çözüldü?

2 denklem ve 5 bilinmeyen varmış gibi değil mi?
Numpy bunu nasıl çözebilir?
Daha fazla yapay denklem oluşturmak için enterpolasyon gibi bir şey yapmalı mı? ..

Anladığım kadarıyla numpy.linalg.lstsq , LAPACK rutin dgelsd'sine dayanıyor .

Sorun şu:

$$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$$

Tabii ki, bunun derecesi vektörünün uzunluğundan daha az olan A matrisi için benzersiz bir çözümü yoktur . Belirsiz bir sistem söz konusu olduğunda, bir çözüm sağlar :$\mathbf{b}$zdgelsd$\mathbf{z}$

• $A\mathbf{z} = \mathbf{b}$
• $\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ karşılayan tüm için . (yani , belirlenmemiş sistem için minimum norm çözümüdür.$\mathbf{x}$$A\mathbf{x} = \mathbf{b}$$\mathbf{z}$

Örneğin, sistem , numpy.linalg.lstsq .$x + y = 1$$x = .5, y = .5$

Dgelsd nasıl çalışır?

Rutin , A'nın tekil değer ayrışmasını (SVD) dgelsdhesaplar .

Doğrusal bir sistemi çözmek için bir SVD kullanmanın arkasındaki fikri çizeceğim. Tekil değer ayrışımı bir çarpanlara olan burada ve dik matrisler ve köşegen girişleri tekil değerler olarak bilinen bir köşegenel matristir.$U \Sigma V' = A$$U$$V$$\Sigma$

matrisinin etkili sırası , etkin bir şekilde sıfır olmayan tekil değerlerin sayısı olacaktır (yani, makine hassasiyetine göre sıfırdan yeterince farklıdır ...). sıfır olmayan tekil değerlerin köşegen matrisi olsun . SVD böylece:$A$$S$

$$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$$

Yalancı ters bir ile verilir:$A$

$$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$$

çözümünü düşünün . Sonra:$\mathbf{x} = A^\dagger \mathbf{b}$

$$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$$

Burada temelde iki vaka var:

1. Sıfır olmayan tekil değerlerin (yani matris boyutu ) sayısı uzunluğundan daha azdır . Buradaki çözüm kesin olmayacak; lineer sistemi en küçük kareler anlamında çözeceğiz.$I$$\mathbf{b}$
2. $A\mathbf{x} - \mathbf{b} = \mathbf{0}$

Bu son bölüm biraz zor ... matris boyutlarını takip etmek ve dikey bir matris olduğunu kullanmak gerekiyor .$U$

Yalancı tersin denkliği

Ne zaman doğrusal bağımsız satır vardır (örneğin, bir yağ matrisi vardır.), O zaman: $A$

$$A^\dagger = A'\left(AA' \right)^{-1}$$

Belirsiz bir sistem için, sahte tersin size minimum norm çözümünü verdiğini gösterebilirsiniz.

Ne zaman doğrusal bağımsız sütun vardır (örneğin, bir zayıf matris vardır.), O zaman: $A$

$$A^\dagger = \left(A'A \right)^{-1}A'$$