Regresyonda katsayıların standart hataları nasıl hesaplanır?


114

Kendi anlayışım için, tahmin edilen katsayıların standart hatalarının hesaplanmasının örneğin lm()fonksiyonun çıktısıyla geldiği R, ancak tespit edemediği gibi manuel olarak kopyalanmasıyla ilgileniyorum . Kullanılan formül / uygulama nedir?


8
Güzel soru, birçok insan regresyonun lineer cebir açısından olduğunu biliyor, burada doğrusal denklemini ve beta cevabını . Neden standart bir hata ve onun arkasında varsayımda bulunduğumuzu bilmiyoruz. XXβ=Xy
Haitao Du

Yanıtlar:


122

Doğrusal model burada yanıtların vektör, sabit etkiler parametre vektörüdür, karşılık gelen sütunları açıklayıcı değişkenlerin değerleri tasarım matrisi ve bir rastgele hataların vektörüdür. y β X ϵ

|y=Xβ+ϵϵN(0,σ2I),
yβXϵ

nın bir tahmininin verildiği iyi bilinmektedir (örneğin, wikipedia makalesine bakın ) Dolayısıyla [hatırlatma: rasgele vektör için, ve bazı tesadüfi olmayan matris ]p = ( X ' X ) - 1 x ' y . Var ( β ) = ( X ' X ) - 1 x 'β

β^=(XX)1Xy.
Var ( A x ) = A x Var ( x ) x bir " X bir
Var(β^)=(XX)1Xσ2IX(XX)1=σ2(XX)1,
Var(AX)=A×Var(X)×AXA

böylece burada , ANOVA tablosundaki Ortalama Kare Hatası (MSE) ile elde edilebilir. σ 2

Var^(β^)=σ^2(XX)1,
σ^2

R'de basit bir doğrusal regresyon örneği

#------generate one data set with epsilon ~ N(0, 0.25)------
seed <- 1152 #seed
n <- 100     #nb of observations
a <- 5       #intercept
b <- 2.7     #slope

set.seed(seed)
epsilon <- rnorm(n, mean=0, sd=sqrt(0.25))
x <- sample(x=c(0, 1), size=n, replace=TRUE)
y <- a + b * x + epsilon
#-----------------------------------------------------------

#------using lm------
mod <- lm(y ~ x)
#--------------------

#------using the explicit formulas------
X <- cbind(1, x)
betaHat <- solve(t(X) %*% X) %*% t(X) %*% y
var_betaHat <- anova(mod)[[3]][2] * solve(t(X) %*% X)
#---------------------------------------

#------comparison------
#estimate
> mod$coef
(Intercept)           x 
   5.020261    2.755577 

> c(betaHat[1], betaHat[2])
[1] 5.020261 2.755577

#standard error
> summary(mod)$coefficients[, 2]
(Intercept)           x 
 0.06596021  0.09725302 

> sqrt(diag(var_betaHat))
                    x 
0.06596021 0.09725302 
#----------------------

Tek bir açıklayıcı değişken olduğunda, model ve öyle ki ve formüller daha şeffaf hale gelir. Örneğin, tahmini eğimin standart hatası

yi=a+bxi+ϵi,i=1,,n
X=(1x11x21xn),β=(ab)
(XX)1=1nxi2(xi)2(xi2xixin)
Var^(b^)=[σ^2(XX)1]22=nσ^2nxi2(xi)2.
> num <- n * anova(mod)[[3]][2]
> denom <- n * sum(x^2) - sum(x)^2
> sqrt(num / denom)
[1] 0.09725302

Tam cevap için teşekkürler. Öyleyse, son değişkenin çok değişkenli davada tutmadığını kabul ediyorum.
ako

1
Hayır, en son formül sadece basit doğrusal modelin belirli X matrisi için işe yarar. Çok değişkenli durumda, yukarıda verilen genel formülü kullanmanız gerekir.
ocram

4
+1, hızlı bir soru, geliyor? Var(β^)
avokado

6
@loganecolss: Bazı rastgele vektör ve bazı rastgele olmayan matris için olgusundan gelir . X AVar(AX)=AVar(X)AXA
ocram

4
Bunların elde hesaplamada doğru cevaplar olduğuna dikkat edin, ancak kararlılık ve verimlilik için kullanılan lm.fit/ içinde kullanılan gerçek uygulama summary.lmbiraz ...
Ben Bolker

26

Bunlara ilişkin formüller, istatistiklerle ilgili herhangi bir ara metinde bulunabilir, özellikle bunları , aşağıdaki alıştırmanın da yapıldığı Sheather'da (2009, Bölüm 5) bulabilirsiniz (sayfa 138).

Aşağıdaki R kodu katsayı tahminlerini ve standart hatalarını manuel olarak hesaplar.

dfData <- as.data.frame(
  read.csv("http://www.stat.tamu.edu/~sheather/book/docs/datasets/MichelinNY.csv",
                   header=T))

# using direct calculations
vY <- as.matrix(dfData[, -2])[, 5]                        # dependent variable
mX <- cbind(constant = 1, as.matrix(dfData[, -2])[, -5])  # design matrix

vBeta <- solve(t(mX)%*%mX, t(mX)%*%vY)                    # coefficient estimates
dSigmaSq <- sum((vY - mX%*%vBeta)^2)/(nrow(mX)-ncol(mX))  # estimate of sigma-squared
mVarCovar <- dSigmaSq*chol2inv(chol(t(mX)%*%mX))          # variance covariance matrix
vStdErr <- sqrt(diag(mVarCovar))                          # coeff. est. standard errors
print(cbind(vBeta, vStdErr))                              # output

çıktı üreten

                         vStdErr
constant   -57.6003854 9.2336793
InMichelin   1.9931416 2.6357441
Food         0.2006282 0.6682711
Decor        2.2048571 0.3929987
Service      3.0597698 0.5705031

Çıktı ile karşılaştır lm():

# using lm()
names(dfData)
summary(lm(Price ~ InMichelin + Food + Decor + Service, data = dfData))

çıktı üreten:

Call:
lm(formula = Price ~ InMichelin + Food + Decor + Service, data = dfData)

Residuals:
    Min      1Q  Median      3Q     Max 
-20.898  -5.835  -0.755   3.457 105.785 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -57.6004     9.2337  -6.238 3.84e-09 ***
InMichelin    1.9931     2.6357   0.756    0.451    
Food          0.2006     0.6683   0.300    0.764    
Decor         2.2049     0.3930   5.610 8.76e-08 ***
Service       3.0598     0.5705   5.363 2.84e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1   1 

Residual standard error: 13.55 on 159 degrees of freedom
Multiple R-squared: 0.6344, Adjusted R-squared: 0.6252 
F-statistic: 68.98 on 4 and 159 DF,  p-value: < 2.2e-16 

solve()Fonksiyonu ile güzel hile . Bu matris cebiri olmadan biraz daha uzun olacaktır. Bu temel çizgiyi sadece temel operatörlerle gerçekleştirmenin özlü bir yolu var mı?
ako

1
@AkselO OLS tahmincisi için iyi bilinen kapalı form ifadesi var, , matrisinin tersini hesaplayarak hesaplayabilirsiniz (@ @ ocram'ın yaptığı gibi), ancak bu durum şartlandırılmış matrislerle zorlaşır. β^=(XX)1XY(XX)
tchakravarty

0

Ocram'ın cevabının bir kısmı yanlış. Aslında:

β^=(XX)1Xy(XX)1Xϵ.

E(β^)=(XX)1Xy.

Ve ilk cevabın yorumu, katsayı varyansının daha fazla açıklamasının gerekli olduğunu göstermektedir:

Var(β^)=E(β^E(β^))2=Var((XX)1Xϵ)=(XX)1Xσ2IX(XX)1=σ2(XX)1


Düzenle

Teşekkürler, ben , bu betadaki şapkayı görmezden geldi. Yukarıdaki kesinti, . Doğru sonuç:wronglywrong

1.(Bu denklemi elde etmek için , ' nin birinci dereceden türevini sıfıra eşit, maksimuma ayarlamak için ayarlayın )β^=(XX)1Xy.SSRβSSR

2.E(β^|X)=E((XX)1X(Xβ+ϵ)|X)=β+((XX)1X)E(ϵ|X)=β.

3.Var(β^)=E(β^E(β^|X))2=Var((XX)1Xϵ)=(XX)1Xσ2IX(XX)1=σ2(XX)1

Umarım yardımcı olur.


1
OLS tahmincisinin beta vektörü için türetilmesi, , uygun herhangi bir regresyon ders kitabında bulunur. Bunun ışığında, olması gerektiğine dair bir kanıt sunabilir misiniz? yerine? β =(X'X)-1x'y-(X'X)-1x'εβ^=(XX)1XYβ^=(XX)1Xy(XX)1Xϵ
gung

4
Sizin çünkü, hatta bir tahmincisi olduğunu gözlemlenebilir değil! sβ^ϵ
whuber

Bu videoda da görüntülenebilir: youtube.com/watch?v=jyBtfhQsf44
StatsStudent
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.