Doğrusal regresyon tahmin aralığı

Veri noktalarımın en iyi doğrusal yaklaşımı (en küçük kareler kullanılarak) çizgisiyse , yaklaşım hatasını nasıl hesaplayabilirim? Gözlemler ve öngörüler arasındaki farkların standart sapmasını hesaplarsam, , daha sonra gerçek (ama gözlenmeyen) değerin aralığının ( ) normal dağılım varsayılarak ~% 68 olasılıkla? $y=mx+b$ $e_i=real(x_i)-(mx_i+b)$ $y_r=real(x_0)$ $[y_p-\sigma, y_p+\sigma]$ $y_p=mx_0+b$

Netleşmeştirmek:

fonksiyonuyla ilgili bazı noktaları değerlendirerek gözlemler yaptım . Bu gözlemleri çizgisine . İçin ben gözlemlemek olmadığını, ne kadar büyük kutu bilmek istiyorum olmak. Yukarıdaki yöntemi kullanarak, prob ile olduğunu söylemek doğru mu ? ~% 68? $f(x)$ $x_i$ $l(x)=mx+b$ $x_0$ $f(x_0)-l(x_0)$ $f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

— bmx
kaynak

Bence tahmin aralıklarını soruyorsun. Ancak, " " yerine " " kullandığınızı . Bu bir yazım hatası mı? Biz yok tahmin s.

x_{i}

$x_i$

y_{i}

$y_i$

x

$x$

— gung - Reinstate Monica

@gung: kullanmak örneğin, saat için anlamında olabildikleri, ve o zaman bir değişkenin değeri, yani I bir gözlem yapılan vasıtasıyla süre içinde . Uydurma işlevi tahminlerinin y'nin gerçek değerlerinden ne kadar uzakta olabileceğini bilmek istiyorum. bu mantıklı mı? işlevi , "doğru" değerini döndürür ve veri noktalarım .

x

$x$

y

$y$

y = f (x)

$y=f(x)$

y

$y$

x

$x$

r e a l (x_{i})

$real(x_i)$

y

$y$

x_{i}

$x_i$

(x_{i}, r e a l (x_{i}))

${(x_i, real(x_i))}$

— bmx

Bu tamamen makul görünüyor. kısımlar, örneğin, " ", genellikle " " olarak reg modelindeki hataları / kalıntıları düşünüyoruz. . Artıkların SD'si , tahmin aralıklarının hesaplanmasında rol oynar. Bu benim için garip olan " "; Yazım hatası mı merak ediyorum, yoksa tanımadığım bir şey mi soruyorsun.

e_{i} = r e a l (x_{i}) - (m x_{i} + b)

$e_i=real(x_i)-(mx_i+b)$

e_{i} = y_{i} - (m x_{i} + b)

$e_i=y_i-(mx_i+b)$

x_{i}

$x_i$

— gung - Reinstate Monica

Sanırım görüyorum; Düzenlemenizi özledim. Bu, sistemin mükemmel bir şekilde deterministik olduğunu ve gerçek temel fonksiyona erişiminiz varsa, her zaman kusursuz olarak tahmin . Normalde reg modelleri hakkında düşünme tarzımız bu değil.

y_{i}

$y_i$

— gung - Reinstate Monica

bmx, Sorunuz hakkında net bir fikriniz ve bazı konular hakkında iyi bir farkındalığınız varmış gibi görünüyor. Yakından ilgili üç konuyu incelemek ilginizi çekebilir. stats.stackexchange.com/questions/17773 teknik olmayan terimlerle tahmin aralıklarını açıklar; stats.stackexchange.com/questions/26702 daha matematiksel bir açıklama verir; ve istatistik.stackexchange.com/questions/9131 adreslerinde Rob Hyndman, aradığınız formülü sağlar. Bunlar sorunuzu tam olarak cevaplamazsa, en azından açıklığa kavuşturmanız için size standart bir not ve kelime verebilir.

— whuber

@whuber size üç iyi cevaba işaret etti, ama belki de hala değerli bir şeyler yazabilirim. Anladığım kadarıyla, açık sorunuz:

Benim oturtulan model göz önüne $\hat y_i=\hat mx_i + \hat b$ (bildirim I 'şapkalar' ilave edildi) , ve benim artıklar normalde dağıtılmış varsayımıyla henüz gibi bir tahmin edebilirsiniz, gözlenmeyen yanıtı, bilinen bir belirleyici değeri ile , aralık içinde olacaktır $\mathcal N(0, \hat\sigma^2_e)$ $y_{new}$ $x_{new}$ olasılıkla% 68? $(\hat y -\sigma_e, \hat y +\sigma_e)$

Sezgisel olarak, cevap 'evet' olmalı gibi görünüyor, ancak doğru cevap belki de olabilir . Parametreler (yani, & ) bilindiğinde ve hatasız olduğunda durum böyle olacaktır . Bu parametreleri tahmin ettiğinizden beri, belirsizliklerini dikkate almamız gerekir. $m, b,$ $\sigma$

İlk önce artıklarınızın standart sapmasını düşünelim. Bu verilerinizden tahmin edildiği için, tahminde bazı hatalar olabilir. Sonuç olarak, tahmin aralığınızı oluşturmak için kullanmanız gereken dağılım normal değil olmalıdır . Bununla birlikte, hızlı bir şekilde normale yaklaştığından, bunun pratikte bir sorun olma olasılığı daha düşüktür. $t_\text{df error}$ $t$

Bu nedenle, sadece kullanabilir , yerine , ve neşeli şekilde gitmek? Ne yazık ki hayır. Daha büyük sorun, tahminler nedeniyle belirsizlik bu konumdaki tepki koşullu ortalama senin tahmini hakkında belirsizlik olmasıdır & . Böylece, $\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$ $\hat y_\text{new}\pm z_{(1-\alpha/2)}s$ $\hat m$ $\hat b$ Tahminlerinizde standart sapması sadece daha dahil etmek gerekiyor $s_\text{error}$ . Çünkü farklılıklar eklemek , tahminler tahmini varyans olacaktır: Uyarı bu " " sıfır belirli bir değer temsil eden subscripted gözlem ve " " nin buna uygun olarak abone olduğunu. Yani, tahmin aralığınız boyunca yeni gözlemin yerine bağlı olarak belirlenir.

s_{predictions(new)}^{2} = s_{error}^{2} + Var (\hat{m} x_{new} + \hat{b})

$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$

x

$x$

s^{2}

$s^2$

x

$x$ eksen. Tahminlerinizin standart sapması, aşağıdaki formüle göre daha uygun bir şekilde tahmin edilebilir:

gibi ilginç bir yan not, bu denklemden tahmin aralıklarla hakkında birkaç gerçekleri çıkarabiliriz. Birincisi, tahmin aralıkları biz (daha az belirsizlik var, çünkü bu öngörü modeli inşa ettiğinde biz daha fazla veri dar olacak

). İkincisi,modelinizi geliştirmek için kullandığınız

değerlerininortalarında yapılırsa tahminler enkesindir, çünkü üçüncü terim için sayı

olacaktır. Bunun nedeni, normal şartlar altında,

ortalama eğiminde tahmin edilen eğim konusunda bir belirsizlik olmamasıdır.

s_{predictions(new)} = \sqrt{s_{error}^{2} (1 + \frac{1}{N} + \frac{(x_{new} - \bar{x})^{2}}{\sum (x_{i} - \bar{x})^{2}})}

$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$

\hat{m}

$\hat m$

\hat{b}

$\hat b$

x

$x$

0

$0$

x

$x$ , sadece regresyon çizgisinin gerçek dikey konumu ile ilgili bazı belirsizlikler. Bu nedenle, tahmin modellerini oluşturmak için öğrenilecek bazı dersler şunlardır: daha fazla verinin, “önem” bulmakla değil, gelecekteki tahminlerin kesinliğini arttırmakla faydalı olması; ve veri toplama çabalarınızı gelecekte tahminlerde bulunmanız gereken aralığa odaklamanız gerekir (bu payı en aza indirmek için), ancak gözlemleri bu merkezden olabildiğince geniş bir şekilde yaymak (bu paydayı maksimize etmek için).

Bu şekilde doğru değeri hesapladıktan sonra , yukarıda belirtildiği gibi uygun dağılımıyla kullanabiliriz . $t$

— gung - Eski Monica
kaynak