Belirsiz bir denklem sistemi için sırt regresyonu uygulanıyor mu?

Zaman , küresel bir kısıtlama empoze en küçük kareler problemi değerine olarak yazılabilir . \ | \ cdot \ | _2 bir vektörün Öklid normudur.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

Tekabül eden çözelti $\beta$ ile verilir

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ Lagrange çarpanları yönteminden türetilebilir ( $\lambda$ çarpandır): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

\ {{Denklem} \ sol (X ^ TX + \ lambda I \ sağ) ^ {- 1} X ^ T = X ^ T \ sol (XX ^ T + \ lambda I \ sağ bir özellik olduğunu anlıyorum ) ^ {- 1} \. \ end {equation}

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ Sağ taraf , belirlenmemiş durumda regresör matrisi X'in yalancı tersine benzemektedir $X$(eklenen normalleştirme parametresi $\lambda$ ). Bu, aynı ifadenin , yetersiz tespit edilen vaka için $\beta$ beta'ya yaklaşık olarak kullanılabileceği anlamına mı geliyor ? Küresel kısıtlama kısıtı objektif işlevle (minimum $\beta$ ) norm olarak gereksiz olduğundan, az tespit edilen durumda karşılık gelen ifade için ayrı bir türev var mı :

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Sırt regresyon probleminin formülasyonundan başlayarak,

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

sorunu şu şekilde yazabilirsiniz:

$\min \| A\beta - b \|_{2}^{2}$

nerede

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

ve

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

matrisi , bölümü nedeniyle tam sütun sıralamasına sahiptir . Böylece eşsiz bir çözüm olarak en küçük kareler problemi$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Bunu ve cinsinden ve çok sayıda 0'ı basitleştirerek,$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Bu derivasyondaki hiçbir şey, daha fazla satır veya sütuna veya tam derecesine sahip olmasına bağlı değildir . Dolayısıyla bu formül belirsiz vakaya uygulanabilir. $X$$X$

için cebirsel bir gerçektir ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Böylece,

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Özel sorularınızı cevaplamak için:

1. Evet, her iki formül de belirsiz vaka için olduğu kadar belirsiz vaka için de çalışır. Onlar da iş eğer daha az satır ve sütun sayısının minimum tutardan . İkinci sürüm, bu durumda küçük olduğu için belirlenmemiş sorunlar için daha verimli olabilir . $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Diğer sönümlü en küçük kareler problemi ile başlayan ve normal denklemleri kullanan formülün alternatif versiyonunun herhangi bir türevinin farkında değilim. Her durumda, biraz cebir kullanarak düz bir şekilde türetebilirsiniz.

Sırt regresyon problemini formda düşünüyor olabilirsiniz.

$\min \| \beta \|_{2}^{2}$

tabi

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Ancak, sırt regresyon sorununun bu sürümü sadece aynı sönümlü en küçük kareler sorun .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$