Polinom regresyonundan güven bandını anlamak

Aşağıdaki grafikte gördüğüm sonucu anlamaya çalışıyorum. Genellikle, Excel'i kullanmaya ve doğrusal regresyon çizgisine sahip olmaya eğilimliyim, ancak aşağıdaki durumda R kullanıyorum ve komutla polinom regresyonu alıyorum:

ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth()

Yani sorularım bununla sınırlı:

1. Mavi regresyon çizgisi etrafındaki gri alan (ok # 1) nedir? Bu, polinom regresyonunun standart sapması mı?

2. Gri alanın dışındaki her şeyin (ok # 2) 'aykırı' olduğunu ve gri alanın (ok # 3) içine düşenin standart sapma içinde olduğunu söyleyebilir miyim?

Gri bant, regresyon çizgisi için bir güven bandıdır. Ggplot2'nin 1 SE güven bandı mı yoksa% 95 güven bandı mı olduğunu bilmek için yeterince tanıdık değilim, ancak eski olduğuna inanıyorum ( Düzenleme: Açıkçası% 95 CI ). Güven bandı, regresyon çizginiz hakkındaki belirsizliğin bir temsilini sağlar. Bir anlamda, gerçek regresyon çizgisinin o bandın üst kısmı kadar yüksek, alt kısmı kadar düşük veya bant içinde farklı şekilde kıpırdadığını düşünebilirsiniz. (Bu açıklamanın sezgisel olması ve teknik olarak doğru olmadığını unutmayın, ancak tam doğru açıklamanın çoğu insanın izlemesi zordur.)

Regresyon hattını anlamanıza / düşünmenize yardımcı olması için güven bandını kullanmalısınız. Ham veri noktalarını düşünmek için kullanmamalısınız. Regresyon çizgisinin her noktasında ortalamasını temsil ettiğini unutmayın (bunu daha iyi anlamanız gerekirse, cevabımı burada okumanıza yardımcı olabilir: Koşullu Gauss dağılımlarının ardındaki sezgi nedir? ). Öte yandan, gözlemlenen her veri noktasının koşullu ortalamaya eşit olmasını kesinlikle beklemezsiniz. Başka bir deyişle, bir veri noktasının aykırı olup olmadığını değerlendirmek için güven bandını kullanmamalısınız. $Y$$X$

---

( Düzenle: bu not ana soru için çevreseldir, ancak OP için bir noktayı açıklığa kavuşturmayı amaçlamaktadır. )

Polinom regresyonu, aldığınız şey düz bir çizgi gibi görünmese de doğrusal olmayan bir regresyon değildir. 'Doğrusal' teriminin matematiksel bağlamda çok özel bir anlamı vardır, özellikle, tahmin ettiğiniz parametrelerin - betaların - hepsi katsayılardır. Polinom regresyonu sadece ortak değişkenlerinizin , , , vb . Olduğu anlamına gelir , yani birbirleriyle doğrusal olmayan bir ilişkiye sahiptirler, ancak betalarınız hala katsayılardır, bu yüzden hala doğrusal bir modeldir . Betalarınız mesela üsse, o zaman doğrusal olmayan bir modeliniz olurdu. $X$$X^2$$X^3$

Özetle, bir çizginin düz görünüp görünmediği, bir modelin doğrusal olup olmadığı ile ilgisi yoktur. Bir polinom modeli taktığınızda (örneğin ve ), model `` aslında sadece karesi olduğunu '' bilmez . Bunların sadece iki değişken olduğunu 'düşünüyor' (bazı çoklu doğrusallık olduğunu fark etmesine rağmen). Böylece, gerçekte, iki boyutlu bir uzayda (kavisli) bir regresyon çizgisinden ziyade üç boyutlu bir uzaya (düz / düz) bir regresyon düzlemi yerleştirmektedir . Bize düşünmek için bu yararlı değildir, ve o zamandan beri aslında, son derece zor görmeye mükemmel bir fonksiyonudur$X$$X^2$$X_2$$X_1$$X^2$$X$. Sonuç olarak, bunu bu şekilde düşünmekten rahatsız olmayız ve arazilerimiz gerçekten düzlemine iki boyutlu projeksiyonlardır . Bununla birlikte, uygun alanda, çizgi aslında bir anlamda 'düz'dür. $(X,\ Y)$

Matematiksel bir bakış açısından, tahmin etmeye çalıştığınız parametreler katsayılarsa, model doğrusaldır. Daha fazla açıklığa kavuşturmak için, standart (OLS) doğrusal regresyon modeli ile iki farklı biçimde sunulan basit bir lojistik regresyon modeli arasındaki karşılaştırmayı düşünün: En üst model OLS regresyonudur ve en alttaki model lojistik regresyondur, ancak farklı şekillerde sunulur. Her üç durumda da, modele uyduğunuzda, tahmin edersiniz . İlk iki model doğrusaldır , çünkü tüm

$$Y = \beta_0 + \beta_1X + \varepsilon$$ $$\ln\left(\frac{\pi(Y)}{1 - \pi(Y)}\right) = \beta_0 + \beta_1X$$ ββ $$\pi(Y) = \frac{\exp(\beta_0 + \beta_1X)}{1 + \exp(\beta_0 + \beta_1X)}$$ $\beta$$\beta$s katsayılardır, ancak alt model doğrusal değildir (bu formda), çünkü s üslüdür. (Bu oldukça garip gelebilir, ancak lojistik regresyon genelleştirilmiş doğrusal modelin bir örneğidir , çünkü doğrusal bir model olarak yeniden yazılabilir. Bununla ilgili daha fazla bilgi için, cevabımı burada okumak yardımcı olabilir: Logit ve probit modelleri arasındaki fark .) $\beta$

Zaten var olan cevaplara eklemek için, bant ortalamanın bir güven aralığını temsil eder, ancak sorunuzdan açıkça bir tahmin aralığı arıyorsunuz . Tahmin aralıkları, yeni bir nokta çizerseniz, bu noktanın teorik olarak zamanın% X aralığında (X seviyesini ayarlayabileceğiniz) bir aralıktır.

library(ggplot2)
set.seed(5)
x <- rnorm(100)
y <- 0.5*x + rt(100,1)
MyD <- data.frame(cbind(x,y))

İlk sorunuzda gösterdiğiniz aynı tip arsaları yumuşatılmış loess regresyon çizgisinin ortalaması civarında bir güven aralığı ile üretebiliriz (varsayılan değer% 95 güven aralığıdır).

ConfiMean <- ggplot(data = MyD, aes(x,y)) + geom_point() + geom_smooth()
ConfiMean

Tahmin aralıklarının hızlı ve kirli bir örneği için, burada düzleştirme çizgileri ile doğrusal regresyon kullanarak bir tahmin aralığı oluşturuyorum (bu yüzden mutlaka düz bir çizgi değildir). Örnek verilerle iyi sonuç verir, 100 nokta için sadece 4 aralığın dışındadır (ve tahmin fonksiyonunda% 90 aralık belirledim).

#Now getting prediction intervals from lm using smoothing splines
library(splines)
MyMod <- lm(y ~ ns(x,4), MyD)
MyPreds <- data.frame(predict(MyMod, interval="predict", level = 0.90))
PredInt <- ggplot(data = MyD, aes(x,y)) + geom_point() + 
           geom_ribbon(data=MyPreds, aes(x=fit,ymin=lwr, ymax=upr), alpha=0.5)
PredInt

Şimdi birkaç not daha. Ladislav ile 2007'den beri düzenli bir seriye sahip olduğunuz için zaman serisi tahmin yöntemlerini göz önünde bulundurmanız gerektiğini kabul ediyorum ve eğer mevsimsellik varsa sert görünüyorsanız (noktaların bağlanması çok daha açık hale gelecektir) açıktır. Bunun için , mevsimsel bir pencere seçebileceğiniz tahmin paketindeki tahmini.stl işlevini kontrol etmenizi ve Loess kullanarak mevsimsellik ve trendin güçlü bir şekilde ayrıştırılmasını sağlar. Sağlam yöntemlerden bahsediyorum çünkü verilerinizde birkaç belirgin ani artış var.

Daha genel olarak, zaman serisi olmayan veriler için, zaman zaman aykırı değerlere sahip verileriniz varsa diğer sağlam yöntemleri dikkate alırım. Doğrudan Loess'i kullanarak tahmin aralıklarının nasıl oluşturulacağını bilmiyorum, ancak kantil regresyonu (tahmin aralıklarının ne kadar aşırı olması gerektiğine bağlı olarak) düşünebilirsiniz. Aksi takdirde, yalnızca potansiyel olarak doğrusal olmayacak şekilde oturmak istiyorsanız, işlevin x üzerinde değişmesine izin vermek için spline'ları düşünebilirsiniz.

Mavi çizgi düzgün bir yerel gerilemedir . Hattın kıvrımlığını spanparametre ile kontrol edebilirsiniz (0'dan 1'e). Ancak örneğiniz bir "zaman serisidir", bu nedenle yalnızca düzgün bir eğriye uymaktan daha uygun analiz yöntemlerini aramaya çalışın (yalnızca olası eğilimi ortaya çıkarması gerekir).

İçin belgelerine göre ggplot2(ve aşağıda yorumunda kitabında): stat_smooth bir olan güven aralığı içinde de düzgün gri renkte gösterilir. Güven aralığını kapatmak istiyorsanız se = FALSE kullanın .