Neden iz

modelinde ${y} = X \beta + \epsilon$, $\beta$ normal denklemini ： kullanarak tahmin edebiliriz

$$\hat{\beta} = (X'X)^{-1}X'y,$$ ve alabilir y =x p . $$\hat{y} = X \hat{\beta}.$$

Artıkların vektörü şu şekilde tahmin edilir:

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

burada

$$Q = I - X (X'X)^{-1} X'.$$

Benim sorum tr ( Q ) = n - p sonucunun nasıl elde edileceği .

$$\textrm{tr}(Q) = n - p.$$

Sonuç sadece vektör uzaylarının boyutlarını sayar. Ancak, genellikle doğru değildir.

Lineer transformasyon matrisi ile temsil edilen matris çarpım göstermek en temel özellikleri tatmin$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

projeksiyon operatörü olarak sergilemek . Bu nedenle tamamlayıcısı

$$\mathbb{Q} = 1 - \mathbb{H}$$

(soruda verildiği gibi) de bir projeksiyon operatörüdür. izi h derecesi (aşağıya bakınız), Q'nun izi n - h'ye eşittir .$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

Formülünden iki doğrusal dönüşüm J = ( X ′ X ) - X ′ ve X'in kendisinin bileşimi ile ilişkili matris olduğu açıktır . (İlk J ) dönüştüren , n -vector y içine s -vector p . İkinci ( X ) a, dönüşümdür R, p için R , n verilen y = x $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$. Bu seviye, bir en küçük kareler ortamda her zaman bu iki boyutta, daha küçük geçemez (ancak daha az olabilir , p her, J tam sıralı değildir). Sonuç olarak, H = X J bileşiminin sırası X derecesini aşamaz . Doğru sonuç ,$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

$\mathbb{J}$$X^\prime X$

---

Geometrik yorum

$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

Doğrusal Cebir Arka Plan

$V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

$v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

$\mathbb{P}$$V$

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$$F \subset \text{Im}(\mathbb{P})$$V$$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$

$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Bu sonuçlar , bir izdüşüm izinin rütbesine eşit olduğu iddiası ile özetlenebilir .

@Dougal zaten bir cevap verdi, ama işte bir tane daha, biraz daha basit.

İlk olarak, gerçeğini . Böylece şunu elde ederiz:Şimdi bir bir özdeşlik matrisi, yani . Şimdi yani izin döngüsel permütasyonlar altında değişmez olduğu gerçeğini kullanalım . Yani,Ne zaman çok-katlı ile , bir elde olan izidir kimlik matrisi, . Yani şunu elde ederiz:$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$ ve tam rütbeli olduğunu varsayın .$n \le p$$X$

Kompakt tekil değer ayrışmasını düşünün , burada çapraz ve , (ancak en fazla sırada olduğunu unutmayın , bu yüzden ). Sonra$X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Şimdi, bir matris vardır şekilde üniter. Biz yazabilir Bu form, pozitif semidefinite olduğunu ve geçerli bir svd olduğu ve tekil değerler kare simetrik bir matris için özdeğerlerin karesi olduğu için, özdeğer 1 (çokluk ) ve 0 olduğunu da belirtir. (çokluk ).$U_2 \in \R^{n \times n-p}$$U_n = \begin{bmatrix}U & U_2\end{bmatrix}$QQn-ppQn-

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ $Q$$Q$$n-p$$p$$Q$$n-p$.