Doğrusal regresyon için t-testini anlama

Ben doğrusal bir regresyon (null hipotezi hiçbir korelasyon olan) bazı hipotez testleri gerçekleştirmek için nasıl çalışıyorum. İçinde bulunduğum konuyla ilgili her kılavuz ve sayfa bir t testi kullanıyor gibi görünüyor. Ama doğrusal regresyon için t-testinin aslında ne anlama geldiğini anlamıyorum. Tamamen yanlış bir anlayışım veya zihinsel bir modelim yoksa, iki popülasyonu karşılaştırmak için bir t testi kullanılır. Ancak regresör ve regressand benzer popülasyonların örnekleri değildir ve aynı birimden bile olmayabilir, bu yüzden bunları karşılaştırmak mantıklı değildir.

Peki, doğrusal bir regresyonda bir t-testi kullanırken, aslında ne yapıyoruz?

Muhtemelen iki örnek testini düşünüyorsunuz çünkü bu genellikle t dağılımının ilk ortaya çıktığı yerdir . Ancak gerçekten t testinin tümü , test istatistiği için referans dağılımının t dağılımı olduğudur. Eğer Z ~ N ( 0 , 1 ) ve S 2 ~ χ 2 d ile Z ve S 2 bağımsız ardından $t$$t$$t$$t$$Z \sim \mathcal N(0,1)$$S^2 \sim \chi^2_d$$Z$$S^2$ Tanıma göre t d . Bunu t dağılımının sadece bu oranın dağılımına verilen bir isim olduğunuvurgulamak için yazıyorum, çünkü çok fazla geliyor ve bu formun herhangi birisinin t dağılımı olacak. İki örnek t testi için, bu oran, null altında ortalamalardaki farkın sıfır ortalama bir Gaussian olması ve bağımsız Gaussianların varyans tahmini bağımsız bir χ 2 olması nedeniyle ortaya çıkar (bağımsızlıkBasu teoremiile gösterilebilir

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ $t$$t$$\chi^2$ bu da bir Gauss örneğindeki standart varyans tahmininin popülasyon ortalamasına yardımcı olduğu gerçeğini kullanır, buna karşılık numune ortalaması tam ve aynı miktar için yeterlidir).

Doğrusal regresyon ile temelde aynı şeyi alırız. Vektör . Let S 2 j = ( X , T x ) - 1 j j ve prediktörleri kabul X olmayan rasgele. Σ 2'yi bilseydik$\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$$S^2_j = (X^T X)^{-1}_{jj}$$X$$\sigma^2$ biz olurdu β j - 0H0 null altındaki σ S j ∼N(0,1):βj=0dolayısıyla aslında bir Z testimiz olur. Amaσ2'yitahminettiğimizde, normalite varsayımlarımıza göre istatistiğimizden bağımsız olduğu ortaya çıkanχ2rasgele değişken ile sonuçlanırız

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ $H_0 : \beta_j = 0$$\sigma^2$$\chi^2$ve sonra da bir olsuntdağılımı.$\hat \beta_j$$t$

---

İşte ayrıntıları: varsayalım . İzin vermek H = X ( X , T x ) - 1 x T olmak Elimizdeki şapka matris ‖ e ‖ 2 = ‖ ( I - H ) Y ‖ 2 = y T ( I - H ) y . H idempotent, bu yüzden gerçekten güzel bir sonuç var $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ merkezi olmayan parametre ileδ=βTXT(I-H)Xβ=βT(XTX-XT $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ , yani bu merkezi bir χ 2 ve n - $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$serbestlik derecesi (bu, Cochran teoreminin özel bir örneğidir ). X'in sütun sayısını belirtmek için kullanıyorum , bu yüzden X'in bir sütunu kesişmeyi verirse p - 1 kesişme öngörüleri olmazdı. Bazı yazarlar p'yi kesişmeyen tahmin edicilerin sayısı olarak kullanırlar, bu nedenle bazen orada özgürlük derecelerinde n - p - 1 gibi bir şey görebilirsiniz , ancak hepsi aynı şeydir.$p$$X$$X$$p-1$$p$$n-p-1$

Bunun sonucu, , yani$E(e^Te / \sigma^2) = n-p$,σ2'ninbir tahmincisi olarak harika çalışır.$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

Bunun anlamı şudur ki , standart Gauss'un chi kareye oranının, serbestlik derecesine bölünmesidir. Bunu bitirmek için bağımsızlık göstermemiz gerekiyor ve aşağıdaki sonucu kullanabiliriz:

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

Sonuç: için ve matrisler A ve B içinde R, l x $Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$ ve , sırasıyla A , Z ve B , Z ve eğer yalnızca bağımsız bir Σ B , T = 0 (bu egzersiz (B) Jun Shao'nun Matematik İstatistikleri bölüm 1 ).$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

Biz β = ( X , T x ) - 1 x T y ve e = ( I - H ) y y ~ N ( X, β , σ 2 I ) . Bunun anlamı ( X T X ) - 1 X T ⋅ σ 2 I ⋅ ( I - H ) T = σ 2$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ , böylece p ⊥Eve bu nedenle p ⊥ E , T , e.

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

Netice şimdi biliyorum β j (Yukarıdaki varsayımlar altında her şeyi) arzu edildiği gibi.

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

$C = {A \choose B}$$(l+m)\times k$$A$$B$

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$$A\Sigma B^T = 0$ bileşenlere tam olarak eşdeğer olduğu ortaya çıktı $AZ$ ve $BZ$ içinde $CZ$ ilişkisiz olmak.

$\square$

@ Chaconne'nin cevabı harika. Ama burada çok daha kısa matematiksel olmayan bir sürüm!

Amaç bir P değeri hesaplamak olduğundan, önce boş bir hipotez tanımlamanız gerekir. Hemen hemen her zaman, yani eğim aslında yataydır, bu nedenle eğim (beta) için sayısal değer 0.0'dır.

Verilerinizden eğim uyumu 0.0 değil. Bu rastgele tesadüf veya sıfır hipotezinin yanlış olmasından kaynaklanıyor mu? Buna kesinlikle cevap veremezsiniz, ancak bir P değeri, bir tür cevabı bulmanın bir yoludur.

Regresyon programı eğimde standart bir hata rapor eder. T oranını eğimin standart hatasına bölünmesiyle hesaplayın. Aslında (eğim eksi boş hipotez eğimi) standart hataya bölünür, ancak boş hipotez eğimi neredeyse her zaman sıfırdır.

Artık orana sahipsiniz. Serbestlik derecesi (df) sayısı veri noktalarının sayısı eksi regresyona uyan parametre sayısına (doğrusal regresyon için iki) eşittir.

Bu değerlerle (t ve df) çevrimiçi bir hesap makinesi veya tabloyla P değerini belirleyebilirsiniz.

Temelde gözlemlenen bir hesaplanmış değeri (eğim) varsayımsal bir değerle (sıfır hipotezi) karşılaştıran tek örnekli bir t-testidir.