Ortogonal olarak yapamıyorsanız, ham yapın (polinom regresyonu)

için polinom regresyonu yaparken , insanlar bazen ham polinomları, bazen de ortogonal polinomları kullanırlar. Ama kullandıklarında tamamen keyfi görünüyor.$Y$$X$

Burada ve burada ham polinomlar kullanılır. Fakat burada ve burada , dik polinomlar doğru sonuçları veriyor gibi görünüyor. Ne, nasıl, neden ?!

Bunun aksine, bir ders kitabından (örneğin ISLR ) polinom regresyonunu öğrenirken , ham veya dik polinomlardan bile bahsetmeyen - sadece takılacak model verilir.

Peki ne zaman ne kullanmalıyız?
Ve , vb. İçin bireysel p değerleri bu iki değer arasında neden çok farklı?X $X$$X^2$

ve değişkenleri doğrusal olarak bağımsız değildir. Yani bile ekleyerek, hiçbir kuadratik etkisi yoktur tahmini etkisini değiştirir modeline .X 2 X 2$X$$X^2$$X^2$$X$

Çok basit bir simülasyon ile bir göz atalım.

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

Şimdi modelde ikinci dereceden bir terime uyacak.

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

Tabii ki omnibus testi hala önemli, ancak aradığımız sonuç bu değil. Çözüm, ortogonal polinomları kullanmaktır.

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348    

xİlk modeldeki ve poly(x,2)1ikinci modeldeki katsayıların eşit olmadığını ve hatta kesişmelerin farklı olduğunu unutmayın. Bunun nedeni poly, aynı zamanda vektöre dik olan ortonormal vektörler vermesidir rep(1, length(x)). Yani poly(x,2)1değil xdaha ziyade (x -mean(x))/sqrt(sum((x-mean(x))**2))...

Önemli bir nokta, bu son modelde Wald testlerinin bağımsız olmasıdır. Sadece Wald testine bakarak hangi dereceye kadar gitmek istediğinize karar vermek için dikey polinomları kullanabilirsiniz: burada tutmaya karar veriyorsunuz ama değil . Tabii ki ilk iki takılmış modeli karşılaştırarak aynı modeli bulursunuz, ancak bu şekilde daha basittir - daha yüksek derecelere çıkmayı düşünüyorsanız, gerçekten çok daha basittir.X $X$$X^2$

Hangi terimlerin saklanacağına karar verdikten sonra, yorumlanabilirlik veya tahmin için ve ham polinomlarına geri dönmek isteyebilirsiniz .X $X$$X^2$

Durum hakkında naif bir değerlendirme yapmak için:

genellikle: varsayalım iki farklı temel fonksiyonları sistemi yanı sıra bazı fonksiyonlar için (hilbert-) boşluk, olağan , yani tüm kareye entegre fonksiyonların alanı.$\{p_n\}_{n=1}^\infty$$\{\tilde{p}\}_{n=1}^\infty$$L_2([a,b])$

Bu, iki bazın her birinin her elemanını açıklamak için kullanılabileceği anlamına gelir , yani için bazı katsayılarınız ve , ( anlamında): $L_2([a,b])$$y \in L_2([a,b])$$\theta_n$$\tilde{\theta}_n \in \mathbb{R}$$n=1,2,\dots$$L_2$

Öte yandan, her iki temel işlev kümesini de numarasında , yani yanı sıra bu kısaltılmış temel fonksiyon kümelerinin ikisi de "farklı kısımlarını" tanımlamaktadır .{ p n } k n = 1 { ˜ p } k n = 1 , L 2 ( [ a , b ] $k<\infty$

Bununla birlikte, burada, bir temeli, olan diğer durumda, sadece diğer temeli, , genel tahmini her kesilmiş model için aynı olacaktır ( ve aynı boyutlu alt ). { p n } ∞ n = 1 y { p } k n = 1 k L 2 ( [ a , b ] $\{\tilde{p}\}_{n=1}^\infty$$\{p_n\}_{n=1}^\infty$$y$$\{p\}_{n=1}^k$$k$$L_2([a,b])$

Ancak iki "farklı" tabandan her bir bireysel temel işlevi, bu öngöre farklı bir katkı sağlayacaktır (işlevler / tahminciler farklı olduğu için!) Farklı -değerleri ve katsayıları ile sonuçlanır .$p$

Dolayısıyla, tahmin açısından (bu durumda) hiçbir fark yoktur.

Hesaplamalı bir bakış açısından, dikey temel fonksiyonlardan oluşan bir model matrisi, en küçük kareler tahmincisi için güzel sayısal / hesaplama özelliklerine sahiptir. İstatistiksel açıdan aynı zamanda, ortogonalizasyon , standart varsayımlar altında olduğu için ilişkisiz tahminlerle sonuçlanır .$var(\hat{\tilde{\theta}}) = I \sigma²$

Doğal soru, en iyi kesilmiş bir temel sistemi varsa ortaya çıkar. Ancak sorunun cevabı ne basit ne de benzersizdir ve örneğin "en iyi" kelimesinin tanımına, yani arşivlemeye çalıştığınız şeye bağlıdır.