Ham veya dik polinom regresyonu?

Bir değişken gerileme isteyen üzerine . Bunu ham veya dik polinomları kullanarak yapmalı mıyım? Sitede bunlarla ilgilenen soruya baktım, ancak onları kullanma arasındaki farkın ne olduğunu gerçekten anlamıyorum. $y$$x,x^2,\ldots,x^5$

Neden sadece katsayılarını almak için "normal" bir gerileme yapamaz ait$\beta_i$$y=\sum_{i=0}^5 \beta_i x^i$ (p değerleri ve diğer tüm güzel şeyler ile birlikte) ve bunun yerine ham veya dik polinomlar kullanmak mı endişelenmeli? Bu seçim bana ne yapmak istediğimin kapsamı dışında gibi görünüyor.

Şu anda okuduğum istatistik kitabında (Tibshirani ve ark. Tarafından ISLR) bunlardan bahsedilmedi. Aslında bir şekilde önemsiz gösteriliyorlardı.
Bunun nedeni, AFAIK, lm()R'deki fonksiyonda, y ~ poly(x, 2)ortogonal polinomların kullanım y ~ x + I(x^2)miktarlarının ve ham olanların kullanım miktarlarının kullanılmasıdır. Ancak sf. 116'da yazarlar ilk seçeneği kullandığımızı söylüyor çünkü ikincisi "hantal" ve bu komutların aslında tamamen farklı şeylere (ve sonuç olarak farklı çıktılara sahip olduğuna) dair hiçbir işaret bırakmıyor.
(üçüncü soru) ISLR yazarları okuyucularını neden böyle karıştırdı?

Cevabın daha az sayısal kararlılık (daha önemli bir rol oynamasına rağmen) ve daha az korelasyonun azaltılması olduğuna inanıyorum.

Özünde - mesele, bir grup üst düzey polinomlara karşı gerilediğimizde, gerilediğimiz ortak değişkenlerin yüksek derecede korelasyona dönüşmesi gerçeğine dayanmaktadır. Aşağıdaki örnek kod:

x = rnorm(1000)
raw.poly = poly(x,6,raw=T)
orthogonal.poly = poly(x,6)
cor(raw.poly)
cor(orthogonal.poly)

Bu son derece önemlidir. Değişkenler daha ilişkili hale geldikçe, hangisinin önemli olduğunu (ve etkilerinin büyüklüğünün) belirleme yeteneğimiz hızla aşınır. Buna tipik olarak çoklu-doğrusallık sorunu denir. Sınırda, tamamen ilişkili iki değişkenimiz olsaydı, bir şeye karşı gerilediğimizde, ikisi arasında ayrım yapmak imkansızdır - bunu sorunun aşırı bir versiyonu olarak düşünebilirsiniz, ancak bu sorun bizim tahminlerimizi etkiler daha düşük korelasyon dereceleri de. Dolayısıyla, gerçek anlamda - sayısal istikrarsızlık bir sorun olmasa bile - yüksek mertebeden polinomlardan gelen korelasyon, çıkarım rutinlerimize büyük zarar verir. Bu, aksi takdirde göreceğiniz daha büyük standart hatalar (ve dolayısıyla daha küçük t istatistikleri) olarak ortaya çıkacaktır (aşağıdaki örnek regresyona bakın).

y = x*2 + 5*x**3 - 3*x**2 + rnorm(1000)
raw.mod = lm(y~poly(x,6,raw=T))
orthogonal.mod = lm(y~poly(x,6))
summary(raw.mod)
summary(orthogonal.mod)

Bu kodu çalıştırırsanız, yorumlama bir dokunuş kadar zordur, çünkü katsayıların hepsi değişir ve bu yüzden işleri karşılaştırmak zordur. Yine de T istatistiklerine bakıldığında, katsayıları belirleme yeteneğinin ortogonal polinomlarla çok daha büyük olduğunu görebiliriz. İlgili 3 katsayı için, ortogonal model için (560,21,449) t-istatistikleri ve ham polinom modeli için sadece (28, -38,121) istatistikleri aldım. Bu, sadece birkaç nispeten düşük mertebeden önemli polinom terimine sahip basit bir model için büyük bir farktır.

Bu, maliyetsiz olarak geldiği anlamına gelmez. Akılda tutulması gereken iki temel maliyet vardır. 1) dik polinomlarla yorumlanabilirliği kaybederiz. Katsayının ne anlama x**3geldiğini anlayabiliriz , ancak katsayıyı x**3-3x(üçüncü hermit poli - mutlaka kullanacağınız şey değil) yorumlamak çok daha zor olabilir. İkincisi - bunların polinomlar dik olduğunu söylediğimizde, bir mesafe ölçüsüne göre dik olduklarını kastediyoruz. Durumunuzla ilgili bir mesafe ölçüsü seçmek zor olabilir. Bununla birlikte, söyledikten sonra, polyfonksiyonun, doğrusal regresyonlar için yararlı olan kovaryansa göre dik olacak şekilde seçmek için tasarlandığına inanıyorum .

Neden katsayıları elde etmek için "normal" bir regresyon yapamıyorum?

$0.4$$0.4000000059604644775390625$

Ham polinom kullanımı sorun yaratacaktır çünkü çok sayıda olacağız. İşte küçük bir kanıt: matris durum numarasını ham ve dik polinom ile karşılaştırıyoruz .

> kappa(model.matrix(mpg~poly(wt,10),mtcars))
[1] 5.575962
> kappa(model.matrix(mpg~poly(wt,10, raw = T),mtcars))
[1] 2.119183e+13

Bir örnek için cevabımı buradan kontrol edebilirsiniz.

Yüksek mertebeden polinom için neden büyük katsayılar var?

Bu cevapların birçoğunun amacı tamamen kaçırdığını hissediyorum. Haitao'nun cevabı ham polinomlara uyma ile ilgili hesaplama problemlerini ele alıyor , ancak OP'nin iki yaklaşım arasındaki istatistiksel farklılıkları sorduğu açık . Yani, tüm değerleri tam olarak temsil edebilecek mükemmel bir bilgisayarımız olsaydı, neden bir yaklaşımı diğerine tercih edelim ki?

$R^2$$X$$Y$$X=0$$X=0$$X$

data("iris")

#Raw:
fit.raw <- lm(Petal.Length ~ Petal.Width + I(Petal.Width^2) +
                  I(Petal.Width^3), data = iris)
summary(fit.raw)

#> Coefficients:
#>                  Estimate Std. Error t value Pr(>|t|)    
#> (Intercept)        1.1034     0.1304   8.464 2.50e-14 ***
#> Petal.Width        1.1527     0.5836   1.975  0.05013 .  
#> I(Petal.Width^2)   1.7100     0.5487   3.116  0.00221 ** 
#> I(Petal.Width^3)  -0.5788     0.1408  -4.110 6.57e-05 ***
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#> 
#> Residual standard error: 0.3898 on 146 degrees of freedom
#> Multiple R-squared:  0.9522, Adjusted R-squared:  0.9512 
#> F-statistic: 969.9 on 3 and 146 DF,  p-value: < 2.2e-16

#Orthogonal
fit.orth <- lm(Petal.Length ~ stats::poly(Petal.Width, 3), data = iris)

#Marginal effect of X at X=0 from orthogonal model
library(margins)
summary(margins(fit.orth, variables = "Petal.Width", 
                at = data.frame(Petal.Width = 0)))
#> Warning in check_values(data, at): A 'at' value for 'Petal.Width' is
#> outside observed data range (0.1,2.5)!
#>       factor Petal.Width    AME     SE      z      p  lower  upper
#>  Petal.Width      0.0000 1.1527 0.5836 1.9752 0.0482 0.0089 2.2965

^{2019-10-25 tarihinde reprex paketi tarafından oluşturuldu (v0.3.0)}

Petal.WidthOrtogonal uyumdan 0'ın marjinal etkisi ve standart hatası, ham polinom uyumundan tam olarak eşittir. Ortogonal polinomların kullanılması, iki model arasında aynı miktarda tahminlerin kesinliğini artırmaz.

$Y$$X$$Y$$X$

library(jtools)
data("iris")

fit.raw3 <- lm(Petal.Length ~ Petal.Width + I(Petal.Width^2) +
                  I(Petal.Width^3), data = iris)
fit.raw1 <- lm(Petal.Length ~ Petal.Width, data = iris)

round(summ(fit.raw3, part.corr = T)$coef, 3)
#>                    Est.  S.E. t val.     p partial.r part.r
#> (Intercept)       1.103 0.130  8.464 0.000        NA     NA
#> Petal.Width       1.153 0.584  1.975 0.050     0.161  0.036
#> I(Petal.Width^2)  1.710 0.549  3.116 0.002     0.250  0.056
#> I(Petal.Width^3) -0.579 0.141 -4.110 0.000    -0.322 -0.074

round(summ(fit.raw1, part.corr = T)$coef, 3)
#>              Est.  S.E. t val. p partial.r part.r
#> (Intercept) 1.084 0.073 14.850 0        NA     NA
#> Petal.Width 2.230 0.051 43.387 0     0.963  0.963

fit.orth3 <- lm(Petal.Length ~ stats::poly(Petal.Width, 3), 
               data = iris)
fit.orth1 <- lm(Petal.Length ~ stats::poly(Petal.Width, 3)[,1], 
               data = iris)

round(summ(fit.orth3, part.corr = T)$coef, 3)
#>                                Est.  S.E.  t val. p partial.r part.r
#> (Intercept)                   3.758 0.032 118.071 0        NA     NA
#> stats::poly(Petal.Width, 3)1 20.748 0.390  53.225 0     0.975  0.963
#> stats::poly(Petal.Width, 3)2 -3.015 0.390  -7.735 0    -0.539 -0.140
#> stats::poly(Petal.Width, 3)3 -1.602 0.390  -4.110 0    -0.322 -0.074

round(summ(fit.orth1, part.corr = T)$coef, 3)
#>                                    Est.  S.E. t val. p partial.r part.r
#> (Intercept)                       3.758 0.039 96.247 0        NA     NA
#> stats::poly(Petal.Width, 3)[, 1] 20.748 0.478 43.387 0     0.963  0.963

^{2019-10-25 tarihinde reprex paketi tarafından oluşturuldu (v0.3.0)}

$0.001$$0.003$$0.005$$0.927$$0.927$$0.020$$0.005$$0.927$. Ham polinom modelinden değil ortogonal polinom modelinden, sonuçta açıklanan varyansın çoğunun doğrusal terimden kaynaklandığını biliyoruz, kare terimden çok az ve kübik terimden çok daha az. Ham polinom değerleri bu hikayeyi anlatmaz.

Şimdi, bu yorumsal faydayı, modelin katsayılarını gerçekten anlayabilmenin etkileşimli faydası üzerinde istiyorsanız, o zaman dik polinomları kullanmalısınız. Katsayılara bakmayı ve ne anlama geldiğini tam olarak bilmek isterseniz (tipik olarak birinden şüphe duysam da), o zaman ham polinomları kullanmalısınız. Eğer umursamıyorsanız (yani, sadece karıştırmak veya öngörülen değerleri üretmek istiyorsanız), o zaman gerçekten önemli değil; her iki form da bu hedefler için aynı bilgileri taşır. Düzenlemede (örneğin, kement) dikey polinomların tercih edilmesi gerektiğini de tartışacağım, çünkü daha yüksek mertebeden terimlerin kaldırılması, ham polinomlar için doğru olmayan düşük mertebe terimlerin katsayılarını etkilemez,

@ User5957401'in mükemmel yanıtını destekliyorum ve enterpolasyon, ekstrapolasyon ve raporlama hakkında yorumlar ekliyorum.

Kararlı parametre değerleri alanında bile, dik polinomlar tarafından modellenen katsayılar / parametreler, ham parametreler tarafından modellenen katsayılardan / parametrelerden önemli ölçüde daha küçük standart hatalara sahip olacaktır. Esasen, ortogonal polinomlar, sıfır-kovaryans tanımlayıcıların serbest bir setidir. Bu ücretsiz PCA!

Tek potansiyel dezavantajı, bunu sıfır-kovaryans tanımlayıcılarının erdemini anlamayan birine açıklamak zorunda kalmaktır. Katsayılarıdır olmayan birinci dereceden (hız gibi) ya da ikinci dereceden (ivme-benzeri) etkileri bağlamında hemen yorumlanabilir. Bu, bir iş ortamında oldukça zarar verici olabilir.

$10^{-d}$$\sim$$R^2$$adj ~R^2$

Bu yüzden dik modeli bildirirken "büyüklük emirleri" ham modelden daha emin olurdum. Uygulamada, her iki modelle enterpolasyon yapardım , ancak yalnızca dik modelle tahmin edecektim .

Ben sadece bu söz yorum yapardı, ama yeterli temsilcisi yok, bu yüzden bir cevap genişletmek çalışacağım. "İstatistiksel Öğrenime Giriş" (James ve ark., 2017, 8. baskı düzeltildi) Laboratuar Bölüm 7.8.1'de, ortogonal polinomları kullanma veya kullanma arasında bazı farklılıkları tartıştıklarını görmek isteyebilirsiniz. raw=TRUEya da raw=FALSEiçinde poly()fonksiyon. Örneğin, katsayı tahminleri değişecektir, ancak takılan değerler değişmez:

# using the Wage dataset in the ISLR library
fit1 <- lm(wage ~ poly(age, 4, raw=FALSE), data=Wage)
fit2 <- lm(wage ~ poly(age, 4, raw=TRUE), data=Wage)
print(coef(fit1)) # coefficient estimates differ
print(coef(fit2))
all.equal(predict(fit1), predict(fit2)) #returns TRUE    

Kitap aynı zamanda ortogonal polinomlar kullanıldığında, anova()iç içe F-testi kullanılarak elde edilen p değerlerinin (polinomun ne derece garanti edilebileceğini keşfetmek için) standart t-testi kullanılırken elde edilen değerlerle aynı olduğunu tartışmaktadır summary(fit). Bu, F-istatistiğin belirli durumlarda t-istatistiğin karesine eşit olduğunu gösterir.