Polinom regresyonu neden çoklu lineer regresyonun özel bir durumu olarak kabul edilir?

Polinom regresyon doğrusal olmayan ilişkileri modelliyorsa, özel bir çoklu doğrusal regresyon olayı nasıl düşünülebilir?

Wikipedia, "Polinom regresyonunun verilere doğrusal olmayan bir modele uymasına rağmen, istatistiksel bir tahmin problemi olarak doğrusal olduğunu, regresyon fonksiyonunun 'in tahmin edilen bilinmeyen parametrelerde lineer olduğu anlamında olduğunu not eder. verilerden. "$\mathbb{E}(y | x)$

Parametreler order 2 ile olan terimler için katsayılar ise, bilinmeyen parametrelerde polinom regresyonu nasıl doğrusaldır ?$\ge$

gibi bir regresyon modeline , model ve OLS tahmincisi nin sadece bir kare olduğunu' bilmez ' , sadece başka bir değişken olduğunu düşünüyor. Elbette, bazı eşdoğrusallık var ve bu durum uyum içine dahil ediliyor (örneğin, standart hatalar başka türlü olabileceğinden daha büyüktür), ancak birçok değişken çifti, biri diğerinin bir işlevi olmadan bir araya gelebilir. $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$$x^2_i$$x_i$

Modelde gerçekten iki ayrı değişken olduğunu tanımıyoruz , çünkü sonunda ve arasında eğrisel bir ilişki yakalamak için dönüştürdüğümüz ve dahil ettiğimiz aynı değişken olduğunu . gerçek doğası hakkındaki bilgi, ve arasında eğrisel bir ilişki olduğu inancımızla birleşince , modelin perspektifinden hala doğrusal olduğunu anlamamızı zorlaştırıyor. Ek olarak, ve görselleştiriyoruz$x^2_i$$x_i$$x_i$$y_i$$x^2_i$$x_i$$y_i$$x_i$$x^2_i$birlikte 3D fonksiyonunun marjinal projeksiyonunu 2D düzlemine bakarak . $x, y$

Yalnızca ve varsa, onları tam 3B alanda görselleştirmeyi deneyebilirsiniz (gerçekte neler olup bittiğini görmek gerçekten zor olsa da). Takılan fonksiyona tam 3B alanda bakmış olsaydınız, takılan fonksiyonun 2B bir düzlem olduğunu ve ayrıca düz bir düzlem olduğunu görürdünüz. Söylediğim gibi, iyi görmek zor çünkü verileri yalnızca o 3B uzayda geçen eğri bir çizgi boyunca var (bu gerçek onların eşliklerinin görsel tezahürüdür). Bunu burada yapmayı deneyebiliriz. Bunun takılan model olduğunu düşünün: $x_i$$x^2_i$$x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

rglPaketi kullanarak aynı verilerle yapılmış döndürülmüş bir 3D şeklin ekran görüntüleri olan bu görüntülerde görmek daha kolay olabilir .

“Parametrelerde doğrusal” olan bir modelin gerçekten doğrusal olduğunu söylediğimizde, bu sadece bazı matematiksel sofistike değildir. İle değişkenleri, bir uydurma olan bir de boyutlu altdüzlem (örneğimizde bir 3D alanında 2D düzlemi) boyutlu hiper. Bu hiper düzlem gerçekten 'düz' / 'doğrusal'; bu sadece bir metafor değil. $p$$p$$p\!+\!1$

Dolayısıyla, genel bir doğrusal model, bilinmeyen parametrelerde doğrusal olan fonksiyondur . Bir polinom regresyonu, örneğin , bir fonksiyonu olarak ikinci derecedendir, ancak , ve katsayılarında doğrusaldır . Gibi daha genel olarak, genel lineer model ifade edilebilir , keyfi fonksiyonları vektörel girişler - görüyoruz (arasında herhangi bir etkileşim terimleri içerebilir ) ve benzerlerinin bileşenleri .$y = a + bx + cx^2$$x$$a$$b$$c$$y = \sum_{i=0}^N a_i h_i(x)$$h_i$$x$$h_i$$x$

Bir model düşünün

Bu, yeniden yazılabilir