Doğrusal bir modelde tahmin sınırları için bir formül elde etme (yani: tahmin aralıkları)

Aşağıdaki örneği ele alalım:

set.seed(342)
x1 <- runif(100)
x2 <- runif(100)
y <- x1+x2 + 2*x1*x2 + rnorm(100)
fit <- lm(y~x1*x2)

Bu, OLS regresyonu kullanarak x1 ve x2'ye dayalı bir y modeli oluşturur. Belirli bir x_vec için y'yi tahmin etmek istersek, yalnızca elde ettiğimiz formülü kullanabiliriz summary(fit).

Ancak, ya y'nin alt ve üst tahminlerini tahmin etmek istersek ne olur? (belirli bir güven düzeyi için).

O zaman formülü nasıl oluştururuz?

r regression predictive-models prediction-interval

— Tal Galili
kaynak

Yeni Gözlemler üzerine Güven Aralığı bölümünde bu sayfayı yardımcı olabilir.

— GaBorgulya

@Tal Üzgünüm, ama "y'nin alt ve üst tahminlerini tahmin et" ile aslında ne demek istediğinizi net değil. Tahmin veya tolerans bantlarıyla bir ilgisi var mı?

— chl

@Tal - birkaç sorgu. ".. y x1 ve x2'ye dayalı, bir OLS regresyonu kullanarak." , doğrusal bir model oluşturduğunuz ve OLS kullanarak parametreleri tahmin ettiğiniz anlamına gelir . Haklı mıyım? ve @ chl'nin sorusu - tahmin aralığı için alt ve üst sınırları tahmin etmek ister misiniz?

— suncoolsu

@chl, daha açık olmadığım için üzgünüm. Ben zaman% 95 y "gerçek" değerini "yakalayacak" bir aralık verecek iki formül arıyorum. Ortalama olarak CI için tanımları nasıl kullandığımı hissediyorum, muhtemelen kullanmam gereken başka bir terim olduğunda, bunun için üzgünüm ...

— Tal Galili

@ suncoolsu - evet ve evet.

— Tal Galili

Yanıtlar:

Matris aritmetiğine ihtiyacınız olacak. Excel'in bununla nasıl gideceğinden emin değilim. Her neyse, detaylar burada.

Regresyonunuzun olarak yazıldığını varsayalım . $\mathbf{y} = \mathbf{X}\mathbf{\beta} + \mathbf{e}$

Let (aynı biçimde tahmin için kestirim değerlerini ihtiva eden bir sıra vektörü ). Daha sonra tahmini ile verilmektedir ile ilişkili bir varyans $\mathbf{X}^*$ $\mathbf{X}$

\hat{y} = X^{*} \hat{β} = X^{*} (X^{'} X)^{- 1} X^{'} Y

$\hat{y} = \mathbf{X}^*\hat{\mathbf{\beta}} = \mathbf{X}^*(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$

σ^{2} [1 + X^{*} (X^{'} X)^{- 1} (X^{*})^{'}] .

$\sigma^2 \left[1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'\right].$ Daha sonra, bir% 95 tahmin aralığı olarak (normal dağılım hataları varsayılarak) hesaplanabilir

Bunun nedeni hata terimi için belirsizlik dikkate alır

ve katsayı tahminlerinde belirsizlik. Ancak, herhangi bir hata yok sayar

. Dolayısıyla, öngörücülerin gelecekteki değerleri belirsizse, bu ifade kullanılarak hesaplanan tahmin aralığı çok dar olacaktır.

\hat{y} \pm 1.96 \hat{σ} \sqrt{1 + X^{*} (X^{'} X)^{- 1} (X^{*})^{'}} .

$\hat{y} \pm 1.96 \hat{\sigma} \sqrt{1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'}.$

e

$e$

X^{*}

$\mathbf{X}^*$

— Rob Hyndman
kaynak

+1, mükemmel cevap. Yine de şunu belirtmeliyim ki, regresyon modeli her zaman koşullu beklentiyi tahmin eder, bu yüzden regresörleri kadar iyidir. Bu yüzden son yorum çok iyi olmasına rağmen, kesinlikle gerekli değildir, çünkü regresyon modeli oluşturursanız, regresörlere güvenmelisiniz.

— mpiktas

\hat{y} = X^{*} β + X^{*} (X^{'} X)^{- 1} X^{'} e

$\hat{y}=X^*\beta+X^*(X'X)^{-1}X'e$

v a r \hat{y} = v a r X^{*} (X^{'} X)^{- 1} X^{'} e = σ^{2} X^{*} (X^{'} X)^{- 1} (X^{*})^{'}

$var \hat{y}=var X^*(X'X)^{-1}X'e=\sigma^2X^*(X'X)^{-1}(X^*)'$

\hat{y}

$\hat{y}$

N \times N

$N \times N$

X^{*}

$X^*$

Farklı tahmin aralıklarından sonra şans eseri misiniz? predict.lmManuel sayfa vardır

 ## S3 method for class 'lm'
 predict(object, newdata, se.fit = FALSE, scale = NULL, df = Inf, 
         interval = c("none", "confidence", "prediction"),
         level = 0.95, type = c("response", "terms"),
         terms = NULL, na.action = na.pass,
         pred.var = res.var/weights, weights = 1, ...)

'Aralıkların' ayarlanması, bazen dar veya geniş aralıklar olarak anılan, belirtilen 'düzeydeki güven veya tahmin (tolerans) aralıklarının hesaplanmasını belirtir.

Aklında olan şey bu muydu?

— Dirk Eddelbuettel
kaynak

Merhaba Dirk, gerçekten bulmak istediğim şey budur, ancak üst ve alt bağların bir formül formunda olmasını istiyorum (böylece daha sonra düşük bir istatistiksel yazılım formunda, örneğin Excel'de ...)

— Tal Galili

ps: Şimdi sorumun başlığında size predict.lm aralık parametresi (ki ben değilim) hakkında soru sorduğumu düşünebilecek bir düzenleme olduğunu görüyorum :)

— Tal Galili

Burada terminolojiyi kötüye kullanıyorsunuz. Excel istatistiksel bir yazılım değildir.

— Dirk Eddelbuettel

Haklısın, teklifim, "elektronik tablo uygulaması" ne dersiniz?

— Tal Galili

Bununla yaşayabilirim; şeytan adıyla ;-)

— Dirk Eddelbuettel

@Tal: Kutner ve arkadaşlarına doğrusal modeller için muhteşem bir kaynak önerebilirim .

$E(Y|X_{vec})$

$E(Y|X_{vec})$ $\hat{Y}$ $\pm$ $\alpha$ $\hat{Y}$ $\hat{Y}$ $\hat{Y}$ $\frac{\sigma^{2}}{n}$ $X_{vec}-\bar{X})^{2}\frac{\sigma^{2}}{\sum(X_{i}-\bar{X})^{2}}$

— B_Miner
kaynak

(+1) ayrım yapmak için. Ancak, OP'nin (2) değil (1) 'i istediğine inanıyorum (ve sorunun başlığını buna göre düzenledim). Ayrıca formülünüzün gerilemenin yalnızca bir değişkene bağlı olduğunu varsaydığını unutmayın.

— whuber