Kendi anlayışım için, tahmin edilen katsayıların standart hatalarının hesaplanmasının örneğin lm()
fonksiyonun çıktısıyla geldiği R
, ancak tespit edemediği gibi manuel olarak kopyalanmasıyla ilgileniyorum . Kullanılan formül / uygulama nedir?
Kendi anlayışım için, tahmin edilen katsayıların standart hatalarının hesaplanmasının örneğin lm()
fonksiyonun çıktısıyla geldiği R
, ancak tespit edemediği gibi manuel olarak kopyalanmasıyla ilgileniyorum . Kullanılan formül / uygulama nedir?
Yanıtlar:
Doğrusal model burada yanıtların vektör, sabit etkiler parametre vektörüdür, karşılık gelen sütunları açıklayıcı değişkenlerin değerleri tasarım matrisi ve bir rastgele hataların vektörüdür. y β X ϵ
nın bir tahmininin verildiği iyi bilinmektedir (örneğin, wikipedia makalesine bakın ) Dolayısıyla [hatırlatma: rasgele vektör için, ve bazı tesadüfi olmayan matris ]p = ( X ' X ) - 1 x ' y . Var ( β ) = ( X ' X ) - 1 x '
böylece burada , ANOVA tablosundaki Ortalama Kare Hatası (MSE) ile elde edilebilir. σ 2
R'de basit bir doğrusal regresyon örneği
#------generate one data set with epsilon ~ N(0, 0.25)------
seed <- 1152 #seed
n <- 100 #nb of observations
a <- 5 #intercept
b <- 2.7 #slope
set.seed(seed)
epsilon <- rnorm(n, mean=0, sd=sqrt(0.25))
x <- sample(x=c(0, 1), size=n, replace=TRUE)
y <- a + b * x + epsilon
#-----------------------------------------------------------
#------using lm------
mod <- lm(y ~ x)
#--------------------
#------using the explicit formulas------
X <- cbind(1, x)
betaHat <- solve(t(X) %*% X) %*% t(X) %*% y
var_betaHat <- anova(mod)[[3]][2] * solve(t(X) %*% X)
#---------------------------------------
#------comparison------
#estimate
> mod$coef
(Intercept) x
5.020261 2.755577
> c(betaHat[1], betaHat[2])
[1] 5.020261 2.755577
#standard error
> summary(mod)$coefficients[, 2]
(Intercept) x
0.06596021 0.09725302
> sqrt(diag(var_betaHat))
x
0.06596021 0.09725302
#----------------------
Tek bir açıklayıcı değişken olduğunda, model ve öyle ki ve formüller daha şeffaf hale gelir. Örneğin, tahmini eğimin standart hatası
> num <- n * anova(mod)[[3]][2]
> denom <- n * sum(x^2) - sum(x)^2
> sqrt(num / denom)
[1] 0.09725302
lm.fit
/ içinde kullanılan gerçek uygulama summary.lm
biraz ...
Bunlara ilişkin formüller, istatistiklerle ilgili herhangi bir ara metinde bulunabilir, özellikle bunları , aşağıdaki alıştırmanın da yapıldığı Sheather'da (2009, Bölüm 5) bulabilirsiniz (sayfa 138).
Aşağıdaki R kodu katsayı tahminlerini ve standart hatalarını manuel olarak hesaplar.
dfData <- as.data.frame(
read.csv("http://www.stat.tamu.edu/~sheather/book/docs/datasets/MichelinNY.csv",
header=T))
# using direct calculations
vY <- as.matrix(dfData[, -2])[, 5] # dependent variable
mX <- cbind(constant = 1, as.matrix(dfData[, -2])[, -5]) # design matrix
vBeta <- solve(t(mX)%*%mX, t(mX)%*%vY) # coefficient estimates
dSigmaSq <- sum((vY - mX%*%vBeta)^2)/(nrow(mX)-ncol(mX)) # estimate of sigma-squared
mVarCovar <- dSigmaSq*chol2inv(chol(t(mX)%*%mX)) # variance covariance matrix
vStdErr <- sqrt(diag(mVarCovar)) # coeff. est. standard errors
print(cbind(vBeta, vStdErr)) # output
çıktı üreten
vStdErr
constant -57.6003854 9.2336793
InMichelin 1.9931416 2.6357441
Food 0.2006282 0.6682711
Decor 2.2048571 0.3929987
Service 3.0597698 0.5705031
Çıktı ile karşılaştır lm()
:
# using lm()
names(dfData)
summary(lm(Price ~ InMichelin + Food + Decor + Service, data = dfData))
çıktı üreten:
Call:
lm(formula = Price ~ InMichelin + Food + Decor + Service, data = dfData)
Residuals:
Min 1Q Median 3Q Max
-20.898 -5.835 -0.755 3.457 105.785
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -57.6004 9.2337 -6.238 3.84e-09 ***
InMichelin 1.9931 2.6357 0.756 0.451
Food 0.2006 0.6683 0.300 0.764
Decor 2.2049 0.3930 5.610 8.76e-08 ***
Service 3.0598 0.5705 5.363 2.84e-07 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 13.55 on 159 degrees of freedom
Multiple R-squared: 0.6344, Adjusted R-squared: 0.6252
F-statistic: 68.98 on 4 and 159 DF, p-value: < 2.2e-16
solve()
Fonksiyonu ile güzel hile . Bu matris cebiri olmadan biraz daha uzun olacaktır. Bu temel çizgiyi sadece temel operatörlerle gerçekleştirmenin özlü bir yolu var mı?
Ocram'ın cevabının bir kısmı yanlış. Aslında:
Ve ilk cevabın yorumu, katsayı varyansının daha fazla açıklamasının gerekli olduğunu göstermektedir:
Teşekkürler, ben , bu betadaki şapkayı görmezden geldi. Yukarıdaki kesinti, . Doğru sonuç:
1.(Bu denklemi elde etmek için , ' nin birinci dereceden türevini sıfıra eşit, maksimuma ayarlamak için ayarlayın )
2.
3.
Umarım yardımcı olur.