Ters hesaplanmadan doğrusal regresyon problemleri için standart hataların hesaplanması

Ters çevirerek daha lineer regresyon problemleri için standart hataları hesaplamak için daha hızlı bir yolu var mı ? Burada bir gerileme olduğunu varsayıyorum: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

burada , matrisidir ve , vektörüdür. $X$ $n\times k$ $y$ $n\times 1$

En küçük kareler problemi çözüm bulma için bir şey yapmak için pratik değildir Eğer matris QR veya SVD ayrısımlarını kullanabilirsiniz doğrudan. Veya alternatif olarak gradyan yöntemlerini kullanabilirsiniz. Peki ya standart hatalar? Biz gerçekten sadece diyagonal ihtiyaç (ve doğal olarak LS çözümünü standart sapmasının tahminini hesaplamak için ). Standart hata hesaplaması için özel yöntemler var mı? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
kaynak

Diyelim ki tekil değer ayrışımı (SVD) kullanarak en küçük kareler problemi çözmüş farz edelim , verdiği $X$

X = U Σ V^{'},

$X = U\Sigma V',$

burada ve üniterdir ve diyagonaldir. $U$ $V$ $\Sigma$

Sonra

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

( Math.SE ile ilgili bir soruya verdiğim cevaba bakınız .)

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

— Geoff Oxberry
kaynak

+1, bu güzel SVD özelliğini unuttum. Başka cevap gelmezse, bu cevabı kabul edeceğim, çünkü almak istediğime oldukça yakın (ve kesinlikle almayı beklediğimden daha iyi büyüklükler :))

— mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Son yorumu yoksay, orada bir hata var. Yine de doğru formülü aldım.

— mpiktas