Doğrusal regresyonda Öğrenci veya Normal dağılımı ne zaman kullanılır?

10

Bazı problemlere bakıyorum ve bazılarında katsayıları test etmek için bazen Öğrenci dağılımını kullanan insanları, bazen Normal dağılımı görüyorum. Kural nedir?

regression distributions hypothesis-testing

— Aslan burcu
kaynak

3

Bu bir cevap değildir, ancak serbestlik derecesi parametresi büyüdükçe dağılımının normal dağılıma yaklaştığını unutmayın . Geçmiş , özellikle hipotez testi çerçevelerinin çoğunda kayda değer bir fark yoktur. Eğer sınırlama davranışı, eğer ve ,olduğu stokastik olarak büyük daha.

t

$t$

ν

$\nu$

ν \geq 30

$\nu \geq 30$

T \sim t_{ν}

$T \sim t_{\nu}$

Z \sim N (0, 1)

$Z \sim \mathcal{N}(0,1)$

| T |

$|T|$

| Z |

$|Z|$

— kardinal

15

Normal dağılım, Merkezi Limit Teoreminin bazı versiyonlarını içeren birçok anlamlı istatistiksel problemde büyük örnek dağılımıdır: cevaba ulaşmak için eklenmiş (yaklaşık) bağımsız bilgi parçanız var. Parametre tahminleri asimptotik olarak normalse, fonksiyonları asemptotik olarak normal olacaktır (normal durumlarda).

Öte yandan, Student dağılımı normal regresyon hatalarında daha kısıtlayıcı koşullar altında elde edilir. Bu varsayımı satın alabiliyorsanız, lineer regresyonda hipotezi test etmek için kullanılan dağılımını satın alabilirsiniz . Bu dağılımın kullanımı, normal dağılımın kullanımından daha geniş güven aralıkları sağlar. Bunun asıl anlamı, küçük örneklerde, belirsizlik ölçünüzü, regresyon ortalama kare hatası veya artıkların standart sapmasını tahmin etmeniz gerektiğidir . (Büyük örneklerde, bildiğiniz kadar bilgi sahibi olursunuz, bu nedenle dağılımı normal dağılıma dönüşür.) $t$ $t$ $\sigma$ $t$

Öğrenci dağılımının haklı gösterilemediği sonlu örneklerle bile doğrusal regresyonda bazı durumlar vardır. Bunlar, regresyon hatalarına ilişkin ikinci dereceden koşulların ihlali ile ilgilidir; yani (1) sabit varyans ve (2) bağımsız olmaları. Bu varsayımlar ihlal edilirse ve standart hatalarınızı heteroskedastik, ancak bağımsız artıklar için Eicker / White tahmincisi kullanarak düzeltirseniz ; veya seri olarak ilişkili hatalar veya kümelenmiş standart hatalar için Newey-West tahmincisiküme ile ilişkili veriler için, Öğrenci dağıtımı için makul bir gerekçe sunmanın bir yolu yoktur. Bununla birlikte, asimptotik normallik argümanının (traingüler diziler ve benzeri) uygun bir sürümünü kullanarak, normal yaklaşımı haklı gösterebilirsiniz (ancak güven aralıklarınızın çok dar olacağını aklınızda bulundurmalısınız).

— StasK
kaynak

1

(+1) Üçüncü paragrafın açılışında doğrusal regresyonun sonsuz ("sonlu olmayan") örneklerle yapıldığı sonucunu seviyorum!

— whuber

@whuber: :) Kitaplarımda, eğer normalse, CLT'ye ya da asimptotik bir şeye dayanıyor olmalı. Aksi takdirde, o kadar anlamıyla olarak yapar bu .

— StasK

6

Öğrenci t dağılımının normal dağılım ve gama dağılımının bir karışımı olarak gösterilmesini seviyorum:

S t u d e n t (x | μ, σ^{2}, ν) = \int_{0}^{\infty} N o r m a l (x | μ, \frac{σ^{2}}{ρ}) G a m m a (ρ | \frac{ν}{2}, \frac{ν}{2}) d ρ

$Student(x|\mu,\sigma^2,\nu)=\int_{0}^{\infty}Normal\left(x|\mu,\frac{\sigma^2}{\rho}\right)Gamma\left(\rho|\frac{\nu}{2},\frac{\nu}{2}\right)d\rho$

Gama dağılımının ortalamasının ve bu dağılımın varyansının . Dolayısıyla t-dağılımını, sabit varyans varsayımını "benzer" varyans varsayımına genelleme olarak görebiliriz. temel olarak varyansların ne kadar benzer olmasına izin verdiğimizi kontrol eder. Yukarıdaki integrali "gizli değişken" gösterimi olarak şu şekilde kullanabileceğimiz için bunu "rastgele ağırlıklı" regresyon olarak da görürsünüz: $E[\rho|\nu]=1$ $V[\rho|\nu]=\frac{2}{\nu}$ $\nu$

y_{i} = μ_{i} + \frac{e_{i}}{\sqrt{ρ_{i}}}

$y_i=\mu_i+\frac{e_i}{\sqrt{\rho_i}}$

Burada ve tüm değişkenlerden bağımsızdır. Aslında bu sadece t-dağılımının tanımı, $e_i\sim N(0,\sigma^2)$ $\rho_i\sim Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)$ $Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)\sim \frac{1}{\nu}\chi^2_\nu$

Büyük bir değeri veya küçük bir değeri nedeniyle büyük bir hatası oluşabileceğinden , bu sonucun neden öğrenci dağılımını normale göre "sağlam" hale görebilirsiniz . Şimdi tüm gözlemler için ortaktır, ancak , sonuçlanacak genel "sağduyu" şey, aykırı değerlerin küçük için kanıt . Ayrıca, lineer regresyon yapacak , bilindiği varsayılarak, ith gözleminin ağırlığı olduğunu $y_i-\mu_i$ $\sigma^2$ $\rho_i$ $\sigma^2$ $\rho_i$ $\rho_i$ $\mu_i=x_i^T\beta$ $\rho_i$ $\rho_i$

\hat{β} = (\sum_{i} ρ_{i} x_{i} x_{i}^{T})^{- 1} (\sum_{i} ρ_{i} x_{i} y_{i})

$\hat{\beta}=(\sum_i\rho_ix_ix_i^T)^{-1}(\sum_i\rho_ix_iy_i)$

Bir uç değer, küçük bir kanıt oluşturmaktadır Böylece i gözlem az ağırlık alacağı anlamına gelir. Buna ek olarak, küçük bir "aykırı" - diğerlerinden çok daha iyi öngörülen / takılan bir gözlem - büyük bir için kanıt oluşturur . Dolayısıyla bu gözlemde regresyonda daha fazla ağırlık verilecektir. Bu, bir aykırı değer veya iyi bir veri noktası ile sezgisel olarak ne yapılacağı ile uyumludur. $\rho_i$ $\rho_i$

Bu sorulara karar vermek için bir "kural" olmadığını unutmayın, ancak benimki ve diğerleri bu soruya verilen yanıt , sonlu varyans yolu boyunca yapabileceğiniz bazı testleri bulmak için yararlı olabilir (öğrenci t, eşit veya daha düşük özgürlük dereceleri için sonsuz varyanstır) ikiye).

— probabilityislogic
kaynak

+1: bu doğru görünüyor, ancak normal ve gama dağılımının bir karışımını söylemeniz gerektiğini düşünmüyorum, aksine normal gama-normal bileşik dağılımı ve normal gama dağılımının normal dağılımdan önce eşlenik (ortalama ve kesinlik ile parametreleştirilmiş).

— Neil G

Evet, karışım hakkında düşünülüyor - şu anda düzeltmek için beceriksiz bir yol düşünemiyorum. Bu formun eşlenik dağılımlara özgü olmadığını unutmayın - örneğin gama pdf'sini ters üstel pdf ile değiştirirsek, laplace dağılımını alırız. Bu, normal dağılımı sağlamlaştırmanın bir biçimi olarak en küçük kareler yerine "en az mutlak sapmalara" yol açar. Diğer dağıtımlar diğer “sağlamlaştırmalara” yol açacaktır - belki de analitik olarak öğrenci kadar güzel değildir.

— olasılık

X standart bir normal rasgele değişken ve U, ν serbestlik derecesine sahip ki-kare rasgele bir değişkense, bir Öğrencinin t (ν) rasgele değişken. burada .

\frac{X}{\sqrt{(U / ν)}}

${\frac {X}{\sqrt {(U/\nu )}}}$

— Carl