Arka fon

Regresyon modelimizde katsayılarının olduğu Sıradan En Küçük Kareler modelimiz olduğunu varsayalım , $k$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

burada bir olan katsayılarının vektörü, olan tasarım matrisi ile tanımlanan $\mathbf{\beta}$ $(k\times1)$ $\mathbf{X}$

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ ve hatalar IID normal,

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

için tahminlerimizi ayarlayarak karelerin toplamını en aza $\mathbf{\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

öğesinin tarafsız bir tahmincisi burada ( ref ). $\sigma^2$

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

Kovaryans $\mathbf{\hat{\beta}}$ ile verilir ( ref ).

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$

Soru

Nasıl kanıtlayabilirim bunun için $\hat\beta_i$ ,

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$ nerede

t_{n - k}

$t_{n-k}$ olan bir

(n - k)

$(n-k)$ serbestlik dereceli t-dağılımı ve

standart hatası

{\hat{β}}_{i}

$\hat{\beta}_i$ ile tahmin edilir .

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$

Girişimlerim

örneklenen rastgele değişken için , şunu biliyorsunuz , olarak yeniden yazarak ve sayıcının standart bir normal dağılım olduğunu ve paydasinin df = (n-1) ile ki-kare dağılımının kare kökü olduğunu fark ederek (n- 1) ( ref ). Ve bu nedenle df = (n-1) ( ref ) ile bir t-dağılımını izler . $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

Bu kanıtı sorumu uzatamadım ...

Herhangi bir fikir? Bu sorunun farkındayım , ancak açıkça ispatlamıyorlar, sadece “her tahminde bir serbestlik derecesine mal oluyor” diyerek bir kural koyuyorlar.

— Garrett
kaynak

Çünkü ortaklaşa Normal değişkenlerin doğrusal bir kombinasyonudur, bu normal dağılıma sahiptir. Bu nedenle tek ihtiyacınız olan şey (1) ; (2) in tarafsız bir tahmincisi olduğunu ; ve (3) 'de serbestlik derecesini göstermektedir olan . İkincisi, bu sitede istatistik.stackexchange.com/a/16931 gibi çeşitli yerlerde kanıtlanmıştır . Zaten (1) ve (2) 'nin nasıl yapıldığını bildiğinden şüpheleniyorum.

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$

— whuber

beri biliyoruz ki ve bu şekilde bizim bildiğimiz her bileşen için ve , burada in köşegen elemanıdır . Böylece,

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} \sim N (0, 1) .

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

Standart Normal Bir Vektörde Tuhaf Bir Kuadratik Formun Dağılımı Teoreminin ifadesini not edin ( Greene Teoremi B.8):

Eğer ve simetrik ve idempotent ise, dağıtılır burada , rütbesidir . $x\sim\mathcal{N}(0,I)$ $A$ $x^TAx$ $\chi^2_{\nu}$ $\nu$ $A$

Let göstermektedirler regresyon kalıntı vektörü ve izin kalıntı makinesi matris (yani ) . simetrik ve idempotent olduğunu doğrulamak kolaydır . $\hat\varepsilon$

M = I_{n} - X (X^{T} X)^{- 1} X^{T},

$M=I_n - X(X^TX)^{-1}X^T \text{,}$

M y = \hat{ε}

$My=\hat\varepsilon$ $M$

Let için bir tahmin edici .

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$

σ^{2}

$\sigma^2$

Daha sonra bazı lineer cebir yapmamız gerekir. Bu üç doğrusal cebir özelliğini not alın:

Başarılı bir matrisin sırası, izleridir.
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ halinde olan ve olan ( bu özellik çalışmaları için aşağıdaki için kritik öneme sahiptir ) $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$

Böylece

\begin{aligned} rank (M) = Tr (M) & = Tr (I_{n} - X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T})) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X)) \\ = Tr (I_{n}) - Tr (I_{p}) \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

Ardından

\begin{aligned} V = \frac{(n - p) s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {(\frac{ε}{σ})}^{T} M (\frac{ε}{σ}) . \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

Idempotent Quadratic Formunun Standart Normal Vektörde Dağılımı Teoremini uygulayarak (yukarıda belirtildiği gibi) olduğunu biliyoruz . $V \sim \chi^2_{n-p}$

Eğer farz yana normalde dağıtılır, daha sonra bağımsızdır , ve o zamandan beri bir fonksiyonudur ardından de bağımsızdır . Böylece, ve birbirlerinden bağımsızdır. $\varepsilon$ $\hat\beta$ $\hat\varepsilon$ $s^2$ $\hat\varepsilon$ $s^2$ $\hat\beta$ $z_k$ $V$

Sonra, standart bir Normal dağılımın Ki-kare dağılımının karekökü ile oranıdır. dağılımının bir özelliği olan aynı serbestlik derecelerinde ( ) . Bu nedenle, istatistiği serbestlik derecesine sahip bir dağılımına sahiptir .

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / (n - p)}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$

n - p

$n-p$

t

$t$ $t_k$ $t$ $n-p$

Daha sonra cebirsel olarak daha bilinen bir formda manipüle edilebilir.

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{(n - p) s^{2}}{σ^{2}} / (n - p)}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se ({\hat{β}}_{k})} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— Mavi İşaretleyici
kaynak

Ayrıca bir soru: Bunun için simetrik Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vectorolması için ihtiyacımız yok mu? Ne yazık ki, Greene’im yok, bu yüzden Wikipedia’nın seninle aynı formda olduğunu görsem de kanıtı göremiyorum . Bununla birlikte, bir karşı, örneğin İdempotent matrisi gibi görünüyor olduğu uçları negatif değerler alabilir olabilir çünkü ki-kare değildir. ..

A

$A$

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$

— Garrett

@ Garrett Özür dilerim, hem simetrik hem de idempotif olmalı. Bu belgede Teorem 3 olarak bir kanıt sağlanmıştır: www2.econ.iastate.edu/classes/econ671/hallam/documents/… Neyse ki, idempoten kadar simetriktir.

A

$A$

M

$M$

— Mavi İşaretçi

A

$A$ sadece olan bir kuadratik bir formda matris temsilidir. Her kuadratik formun simetrik bir temsili vardır, bu nedenle simetri gerekliliği teorem açıklamasında gizlidir. (Kuadratik formları temsil etmek için insanlar asimetrik matris kullanmazlar.) Böylece, ikinci dereceden form , benzersiz şekilde temsil edilir. , idempotent değil .

A

$A$

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$

— whuber

Neden anlamına bağımsız ? Orada pek takip etmiyoruz.

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$

\hat{β}

$\hat{\beta}$

\hat{ϵ}

$\hat{\epsilon}$

— Glassjawed

@Glassjawed Hem hem de normalde çok değişkenli dağıldığından, ilişkisizlik bağımsızlık anlamına gelir. İfadeler kullanarak ve dan yukarıda, olduğunu gösterebiliriz .

\hat{β}

$\hat{\beta}$

\hat{ε}

$\hat{\varepsilon}$

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$

— rzch

Bir OLS modelindeki katsayıların (nk) serbestlik dereceli bir t-dağılımı izlediğinin kanıtı

Arka fon

Soru

Girişimlerim