Hipotez testi için neden T dağılımı doğrusal bir regresyon katsayısı kullanılır?

17

Uygulamada, lineer regresyon katsayısının önemini kontrol etmek için standart bir T testi kullanmak yaygın bir uygulamadır. Hesaplamanın mekaniği bana mantıklı geliyor.

T-dağılımı neden doğrusal regresyon hipotez testinde kullanılan standart test istatistiğini modellemek için kullanılabilir? Standart test istatistiği Burada atıfta bulunuyorum:

T_{0} = \frac{\hat{β} - β_{0}}{S E (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— Nate Parke
kaynak

Bu soruya tam ve eksiksiz bir cevap oldukça uzun olacak, eminim. Birinin bununla başa çıkmasını beklerken, burada bulduğum bazı notlara bakarak bunun neden iyi olduğu hakkında oldukça iyi bir fikir edinebilirsiniz: onlinecourses.science.psu.edu/stat501/node/297 . Özellikle

olduğuna dikkat edin .

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$

— StatsStudent

1

Bunun bir kopya değil inanıyoruz ve henüz olamaz Peki (soru ve yanıtlara ikisi) tüm upvotes ... bu ? Ya da belki de bir kopya değil, bu da Çapraz Onaylanmış yaklaşık yedi yıldır var olmayan süper temel konular olduğu (ya da bugüne kadar vardı) anlamına geliyor ... Vay ...

— Richard Hardy

@RichardHardy Hmm, bu bir kopya gibi geliyor. Daha ayrıntılı olsa da, soru özellikle geçerli: "Ben için ispat nasıl , $\hat\beta_i$ " $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— Firebug'ın

26

Biz t-dağılımını kullanmak anlamak için, altta yatan dağılımı ne olduğunu bilmek gerekir ve kareler Artık toplamı (bir size t-dağılımını verecek bu iki koymak birlikte ile gibi). $\widehat{\beta}$ $RSS$

Kolay kısım dağılımı bir normal dağılım - bu not görmek için bu = bu doğrusal bir fonksiyonu yani burada . Bunun bir sonucu olarak, aynı zamanda, normal dağıtılan $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ $Y\sim N(X\beta, \sigma^{2}I_{n})$ - Eğer dağılımını kaynaklanan ihtiyaç olursa haber ver . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

Ek olarak, , burada gözlem sayısıdır ve , regresyonunuzda kullanılan parametre sayısıdır. Bunun kanıtı biraz daha kapsamlıdır, ancak türetilmesi de kolaydır (buraya kanıt bakın RSS neden ki kare süreleri np dağıtılır? ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

Bu noktaya kadar her şey matris / vektör notasyonu içinde inceledik ancak basitlik kullanım için haydi Yukarı ve normal dağılım kullanan bizi $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

Buna ek olarak, bir ki-kare dağıtım : o sahip $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

$N(0,1)$ $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ $\sqrt{\chi^2(s)/s}$

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

$s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$ .

Let me know if it makes sense.

— francium87d
kaynak

what a great answer! could you please explain why

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$ ?

— KingDingeling

4

The answer is actually very simple: you use t-distribution because it was pretty much designed specifically for this purpose.

Ok, the nuance here is that it wasn't designed specifically for the linear regression. Gosset came up with distribution of sample that was drawn from the population. For instance, you draw a sample $x_1,x_2,\dots,x_n$ , and calculate its mean $\bar x=\sum_{i=1}^n x_i/n$ . What is the distribution of a sample mean $\bar x$ ?

If you knew the true (population) standard deviation $\sigma$ , then you'd say that the variable $\xi=(\bar x-\mu)\sqrt n/\sigma$ is from the standard normal distribution $\mathcal N(0,1)$ . The trouble's that you usually do not know $\sigma$ , and can only estimate it $\hat\sigma$ . So, Gosset figured out the distribution when you substitute $\sigma$ with $\hat\sigma$ in the denominator, and the distribution is now called after his pseduonym "Student t".

The technicalities of linear regression lead to a situation where we can estimate the standard error $\hat\sigma_\beta$ of the coefficient estimate $\hat\beta$ , but we do not know the true $\sigma$ , therefore Student t distribution is applied here too.

— Aksakal
kaynak