RSS neden kare kare np dağıtıyor?

OLS modeli altında, RSS (artık kareler toplamı) değerinin

$$\chi^2\cdot (n-p)$$ ( p ) neden dağıldığını anlamak istiyorum.$p$ modelinde parametrelerinin sayısı, varlık $n$ gözlem sayısı).

Bu kadar temel bir soruyu sorduğum için özür dilerim, ancak cevabı çevrimiçi olarak bulamıyorum (ya da benim uygulama alanım olan ders kitaplarında).

Aşağıdaki doğrusal modeli göz önünde bulundururum: ${y} = X \beta + \epsilon$ .

Artıkların vektörü ile tahmin edilir

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$$

burada $Q = I - X (X'X)^{-1} X'$ .

Gözlemleyin tr ( S ) = N - p (iz siklik permütasyonu değişmez) ve Q ' = S = S 2 . Q'nun özdeğerleri bu nedenle 0 ve 1'dir (aşağıda bazı detaylar). Bu nedenle, bir üniter matris vardır V şekilde ( matrisler üniter matrislerle köşegenleştirilebilir ve normal sadece eğer. )$\textrm{tr}(Q) = n - p$$Q'=Q=Q^2$$Q$$0$$1$$V$

$$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$$

Şimdi, let K = V ' £ değenni .$K = V' \hat{\epsilon}$

Yana ε ~ N ( 0 , σ 2 Q ) , elimizdeki K ~ N ( 0 , σ 2 Δ ) ve bu nedenle, K , n - p + 1 = ... = K , n = 0 . Böylece$\hat{\epsilon} \sim N(0, \sigma^2 Q)$$K \sim N(0, \sigma^2 \Delta)$$K_{n-p+1}=\ldots=K_n=0$

$$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$$

ile K ⋆ = ( K 1 , ... , K , n - p ) ' .$K^{\star} = (K_1, \ldots, K_{n-p})'$

Dahası, V üniter bir matris olduğundan,$V$

$$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$$

Böylece

$$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$$

Son olarak, bu sonucun ima ettiğini gözlemleyin.

$$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$$

---

Yana S 2 - Q = 0 , en az bir polinom arasında Q polinom böler z 2 - z . Dolayısıyla, Q'nun öz değerleri 0 ile 1 arasındadır . Yana tr ( S ) = N - p ayrıca sayıda ile çarpılır özdeğerler toplamı olduğu için, zorunlu olarak bu var 1 çokluğu olan bir özdeğeridir N - p sıfır çokluğu olan bir özdeğeridir p .$Q^2 - Q =0$$Q$$z^2 - z$$Q$$0$$1$$\textrm{tr}(Q) = n-p$$1$$n-p$$p$

IMHO, the matricial notation $Y=X\beta+\epsilon$ complicates things. Pure vector space language is cleaner. The model can be written $\boxed{Y=\mu + \sigma G}$ where $G$ has the standard normal distributon on $\mathbb{R}^n$ and $\mu$ is assumed to belong to a vector subspace $W \subset \mathbb{R}^n$.

Now the language of elementary geometry comes into play. The least-squares estimator $\hat\mu$ of $\mu$ is nothing but $P_WY$: the orthogonal projection of the observable $Y$ on the space $W$ to which $\mu$ is assumed to belong. The vector of residuals is $P^\perp_WY$: projection on the orthogonal complement $W^\perp$ of $W$ in $\mathbb{R^n}$. The dimension of $W^\perp$ is $\dim(W^\perp)=n-\dim(W)$.

Finally,

$$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$$ and $P^\perp_WG$ has the standard normal distribution on $W^\perp$, hence its squared norm has the $\chi^2$ distribution with $\dim(W^\perp)$ degrees of freedom.

This demonstration uses only one theorem, actually a definition-theorem:

Definition and theorem. A random vector in $\mathbb{R}^n$ has the standard normal distribution on a vector space $U \subset \mathbb{R}^n$ if it takes its values in $U$ and its coordinates in one ($\iff$ in all) orthonormal basis of $U$ are independent one-dimensional standard normal distributions

(from this definition-theorem, Cochran's theorem is so obvious that it is not worth to state it)