Regresyon için polinom kontrastları

Regresyon uyumunda polinom kontrastlarının kullanımını anlayamıyorum. Özellikle, bu sayfadaR açıklanan bir aralık değişkenini (eşit aralıklı düzeylere sahip sıralı değişken) ifade etmek için kullanılan bir kodlamaya atıfta bulunuyorum .

Bu sayfa örneğinde, doğru anladıysam, R bir aralık değişkeni için bir modele uyuyor ve doğrusal, karesel veya kübik eğilimini ağırlaştıran bazı katsayılar döndürüyor. Bu nedenle, takılan model şöyle olmalıdır:

w r i t e = 52.7870 + 14.2587 X - 0.9680 X^{2} - 0.1554 X^{3},

${\rm write} = 52.7870 + 14.2587X - 0.9680X^2 - 0.1554X^3,$

burada , aralık değişkeninin farklı düzeyine göre , , veya $X$ değerlerini almalıdır . $1$ $2$ $3$ $4$

Bu doğru mu? Ve eğer öyleyse, polinom tezatlarının amacı neydi?

r regression contrasts

— Pippo
kaynak

Hayır, bu katsayılar dik polinom terimleri içindir: modeli ham polinom terimleri için yazdınız . Yerine , , ve 'deki değerler ile, , , ve , sırasıyla (indeks tablosundan itibaren).

X

$X$

X^{2}

$X^2$

X^{3}

$X^3$

L

$L$

Q

$Q$

C

$C$

— Scortchi - Eski durumuna getir Monica

Sevgili @ Skrtchi, cevabınız için teşekkür ederim. Ne demek istediğini anlıyorum, ama o zaman bu dik polinom terimlerinin nasıl çalıştığını dürüstçe anlamadım. : P

— Pippo

Notasyonel bir mesele olarak, sahip olduğunuz şey uygun model değildir. Ya yazma üzerine dev bir 'şapka' ya (veya E [yazma]) ihtiyacınız vardır, bu da yazmanın tahmini değeri veya beklenen yazma değeri anlamına gelir; veya kalıntıları belirtmek için sonunda bir '+ e' gerekir.

— gung - Monica'yı eski

@Scortchi "Arama tablosu" nedir veya nasıl bulunabilir?

— Antoni Parellada

@AntoniParellada: Sayfadaki OP'nin ats.ucla.edu/stat/r/library/contrast_coding.htm#ORTHOGONAL ile bağlantılı olduğu tablo . ve contr.polyR. ile var

— Scortchi - Monica'yı eski durumuna getirin

Sadece özetlemek gerekirse (ve gelecekte OP köprüleri başarısız olursa), bir veri kümesine şu şekilde bakıyoruz hsb2:

   id     female race ses schtyp prog read write math science socst
1  70        0    4   1      1    1   57    52   41      47    57
2 121        1    4   2      1    3   68    59   53      63    61
...
199 118      1    4   2      1    1   55    62   58      58    61
200 137      1    4   3      1    2   63    65   65      53    61

burada ithal edilebilir .

Değişkeni readve sıralı / sıralı değişkene dönüştürürüz:

hsb2$readcat<-cut(hsb2$read, 4, ordered = TRUE)
(means = tapply(hsb2$write, hsb2$readcat, mean))
 (28,40]  (40,52]  (52,64]  (64,76] 
42.77273 49.97849 56.56364 61.83333

Şimdi hepimiz sadece düzenli bir ANOVA çalıştırmaya hazırız - evet, bu R ve temelde sürekli bağımlı writebir değişkenimiz ve çok seviyeli açıklayıcı bir değişkenimiz var readcat. R de kullanabilirizlm(write ~ readcat, hsb2)

1. Kontrast matrisinin oluşturulması:

Sıralı değişkenin dört farklı seviyesi vardır readcat, bu yüzden kontrastımız olacaktır. $n-1=3$

table(hsb2$readcat)

(28,40] (40,52] (52,64] (64,76] 
     22      93      55      30

İlk olarak, para için gidelim ve yerleşik R işlevine bir göz atalım:

contr.poly(4)
             .L   .Q         .C
[1,] -0.6708204  0.5 -0.2236068
[2,] -0.2236068 -0.5  0.6708204
[3,]  0.2236068 -0.5 -0.6708204
[4,]  0.6708204  0.5  0.2236068

Şimdi kaputun altında neler olup bittiğini inceleyelim:

scores = 1:4  # 1 2 3 4 These are the four levels of the explanatory variable.
y = scores - mean(scores) # scores - 2.5

$y = \small [-1.5, -0.5, 0.5, 1.5]$

$\small \text{seq_len(n) - 1} = [0, 1, 2, 3]$

n = 4; X <- outer(y, seq_len(n) - 1, "^") # n = 4 in this case

$\small\begin{bmatrix} 1&-1.5&2.25&-3.375\\1&-0.5&0.25&-0.125\\1&0.5&0.25&0.125\\1&1.5&2.25&3.375 \end{bmatrix}$

Orada ne oldu? outer(a, b, "^")elemanlarını yükseltir aelemanlarına b, yani bu operasyonlardan ilk sütun sonuçları, , , ve ; , , ve den ikinci sütun ; üçüncüsü $\small(-1.5)^0$ $\small(-0.5)^0$ $\small 0.5^0$ $\small 1.5^0$ $\small(-1.5)^1$ $\small(-0.5)^1$ $\small0.5^1$ $\small1.5^1$ $\small(-1.5)^2=2.25$ , , ve ; ve dördüncü, , , ve . $\small(-0.5)^2 = 0.25$ $\small0.5^2 = 0.25$ $\small1.5^2 = 2.25$ $\small(-1.5)^3=-3.375$ $\small(-0.5)^3=-0.125$ $\small0.5^3=0.125$ $\small1.5^3=3.375$

Bir dahaki bu matrisin ortonormal ayrışmasını ve Q'nun kompakt temsil alır ( ). Bu yazıda kullanılan R'de QR çarpanlarına ayırmada kullanılan fonksiyonların iç çalışmalarından bazıları burada daha ayrıntılı olarak açıklanmaktadır . $QR$ c_Q = qr(X)$qr

$\small\begin{bmatrix} -2&0&-2.5&0\\0.5&-2.236&0&-4.584\\0.5&0.447&2&0\\0.5&0.894&-0.9296&-1.342 \end{bmatrix}$

... sadece diyagonalini kaydettik ( z = c_Q * (row(c_Q) == col(c_Q))). Diyagonalde ne var: ayrışmasının kısmının sadece "alt" girdileri . Sadece? iyi, hayır ... Bir üst üçgen matrisin köşegeninin matrisin özdeğerlerini içerdiği ortaya çıktı! $\bf R$ $QR$

Aşağıdaki işlev çağrısı Sonraki: raw = qr.qy(qr(X), z)1. kompakt bir yapıya Dönüş: bunun sonucu, iki işlem ile "elle" çoğaltılmış olabilir , yani içine, , ile elde edilebilir bir dönüşüm ve 2. yapılması matris çarpımı , olduğu gibi . $Q$ qr(X)$qr $Q$ Q = qr.Q(qr(X)) $Qz$ Q %*% z

En önemlisi, çarparak ve öz-değerlerle kurucu sütun vektörlerinin ortogonalliği değişmez, ancak özdeğerler mutlak değeri alt soldan sağa doğru yukarıdan azalan görünür göz önüne alındığında, bir çarpma azaltma eğilimi gösterecektir yüksek sıralı polinom sütunlarındaki değerler: $\bf Q$ $\bf R$ $Qz$

Matrix of Eigenvalues of R
     [,1]      [,2] [,3]      [,4]
[1,]   -2  0.000000    0  0.000000
[2,]    0 -2.236068    0  0.000000
[3,]    0  0.000000    2  0.000000
[4,]    0  0.000000    0 -1.341641

Önce ve sonra (Kuvadratik ve kübik), daha sonra sütun vektörleri değerleri karşılaştır ve etkilenmemiş ilk iki sütununa çarpanlarına işlemleri. $QR$

Before QR factorization operations (orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5 2.25 -3.375
[2,]    1 -0.5 0.25 -0.125
[3,]    1  0.5 0.25  0.125
[4,]    1  1.5 2.25  3.375


After QR operations (equally orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5    1 -0.295
[2,]    1 -0.5   -1  0.885
[3,]    1  0.5   -1 -0.885
[4,]    1  1.5    1  0.295

Nihayet dediğimiz (Z <- sweep(raw, 2L, apply(raw, 2L, function(x) sqrt(sum(x^2))), "/", check.margin = FALSE))matrisi dönüm rawbir içine ortonormal vektörler:

Orthonormal vectors (orthonormal basis of R^4)
     [,1]       [,2] [,3]       [,4]
[1,]  0.5 -0.6708204  0.5 -0.2236068
[2,]  0.5 -0.2236068 -0.5  0.6708204
[3,]  0.5  0.2236068 -0.5 -0.6708204
[4,]  0.5  0.6708204  0.5  0.2236068

Bu işlev (bölünmesiyle matris "normalize" "/"), her bir eleman columnwise . Dolayısıyla, iki adımda ayrıştırılabilir:, sonuç olarak,deki bir sütundaki her elemanınnin karşılık gelen değerine bölündüğüher bir sütun için payda olansonuç. $\small\sqrt{\sum_\text{col.} x_i^2}$ $(\text{i})$ apply(raw, 2, function(x)sqrt(sum(x^2)))2 2.236 2 1.341 $(\text{ii})$ $(\text{i})$

Bu noktada sütun vektörler bir ortonormal temelini oluşturur biz kesişme olacak ilk sütunda, kurtulana kadar, ve biz sonuca çoğaltılmış var : $\mathbb{R}^4$ contr.poly(4)

$\small\begin{bmatrix} -0.6708204&0.5&-0.2236068\\-0.2236068&-0.5&0.6708204\\0.2236068&-0.5&-0.6708204\\0.6708204&0.5&0.2236068 \end{bmatrix}$

(sum(Z[,3]^2))^(1/4) = 1z[,3]%*%z[,4] = 0 $\text{scores - mean}$ $1$ $2$ $3$

2. Açıklayıcı değişkendeki seviyeler arasındaki farkları açıklamak için hangi kontrastlar (sütunlar) önemli ölçüde katkıda bulunur?

Sadece ANOVA'yı çalıştırabilir ve özete bakabiliriz ...

summary(lm(write ~ readcat, hsb2))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  52.7870     0.6339  83.268   <2e-16 ***
readcat.L    14.2587     1.4841   9.607   <2e-16 ***
readcat.Q    -0.9680     1.2679  -0.764    0.446    
readcat.C    -0.1554     1.0062  -0.154    0.877

... readcatüzerinde doğrusal bir etki olduğunu görmek için write, orijinal değerler (postanın başlangıcındaki üçüncü kod yığınında) şu şekilde çoğaltılabilir:

coeff = coefficients(lm(write ~ readcat, hsb2))
C = contr.poly(4)
(recovered = c(coeff %*% c(1, C[1,]),
               coeff %*% c(1, C[2,]),
               coeff %*% c(1, C[3,]),
               coeff %*% c(1, C[4,])))
[1] 42.77273 49.97849 56.56364 61.83333

... ya da ...

... ya da daha iyisi ...

$\displaystyle \sum_{i=1}^t a_i = 0$ $a_1,\cdots,a_t$

$X^0, X^1, \cdots. X^n$

Grafiksel olarak, bunu anlamak çok daha kolaydır. Gerçek araçları büyük kare siyah bloklardaki gruplarla öngörülen değerlerle karşılaştırın ve kuadratik ve kübik polinomların minimum katkısı ile (sadece loess ile yaklaşık eğrilerle) düz bir çizgi yaklaşımının neden en uygun olduğunu görün:

Sadece etki için, ANOVA katsayıları diğer yaklaşımlar (kuadratik ve kübik) için doğrusal kontrast için büyük olsaydı, takip eden saçma sapan her "katkının" polinom parsellerini daha açık bir şekilde tasvir ederdi:

Kod burada .

— Antoni Parellada
kaynak

+1 Vay canına. Bu cevap (şimdiye kadar sonuna kadar okumadım) eski, unutulmuş sorumun yanıtı olarak da görülebilir. Stat.stackexchange.com/q/63639/3277 ?

— ttnphns

(+1) @ttnphns: Muhtemelen orada daha da iyi olurdu.

— Scortchi - Monica'yı eski durumuna döndürün

Sadece bir ipucu: Bana buraya bir bağlantı ile yorum yapmak isteyebilirsiniz; ya da orada bir cevap verebilirim - kabul edeceğim.

— ttnphns

@ttnphns ve @Scortchi Teşekkür ederiz! Bu kavramları anlamaya çalışmak için epey zaman geçirdim ve fazla tepki beklemiyordum. Bu çok olumlu bir sürpriz. Bence qr.qy()işlevi açıklamak için ütülemek için bazı kırışıklıklar var , ama zamanım olur olmaz sorunuz hakkında minimal bir şey söyleyip söyleyemeyeceğimi kesinlikle görmeye çalışacağım.

— Antoni Parellada

@Elvis İyi bir özet cümle seçmeye ve yazıya bir yere koymaya çalıştım. Bence bu iyi bir nokta ve güzel bir matematiksel açıklama gerektiriyor, ancak bu noktada daha fazla ayrıntı vermek çok fazla olabilir.

— Antoni Parellada

Örneğinizi nasıl çalıştığını açıklamak için kullanacağım. Dört grupla polinom kontrastlarının kullanılması aşağıdaki sonuçları verir.

\begin{aligned} E w r i t e_{1} & = μ - 0.67 L + 0.5 Q - 0.22 C \\ E w r i t e_{2} & = μ - 0.22 L - 0.5 Q + 0.67 C \\ E w r i t e_{3} & = μ + 0.22 L - 0.5 Q - 0.67 C \\ E w r i t e_{4} & = μ + 0.67 L + 0.5 Q + 0.22 C \end{aligned}

$\begin{align} E\,write_1 &= \mu -0.67L + 0.5Q -0.22C\\ E\,write_2 &= \mu -0.22L -0.5Q + 0.67C\\ E\,write_3 &= \mu + 0.22L -0.5Q -0.67C\\ E\,write_4 &= \mu + 0.67L + 0.5Q + 0.22C \end{align}$

$read_i$

E w r i t e_{i} = μ + r e a d_{i} L + r e a d_{i}^{2} Q + r e a d_{i}^{3} C

$E\,write_i=\mu+read_iL + read_i^2Q+read_i^3C$

$L,Q,C$ $\beta_1, \beta_2, \beta_3$ $L, Q, C$ $read_i, read_i^2, read_i^3$ $L$ $Q$ $C$

$\mu, L,Q,C$

\hat{μ} = 52.79, \hat{L} = 14.26, \hat{Q} = - 0.97, \hat{C} = - 0.16

$\widehat{\mu}=52.79, \widehat{L}=14.26, \widehat{Q}=−0.97, \widehat{C}=−0.16$

\hat{μ} = \frac{1}{4} \sum_{i = 1}^{4} E w r i t e_{i}

$\widehat{\mu}=\frac{1}{4}\sum_{i=1}^4E\,write_i$

\hat{μ}, \hat{L}, \hat{Q}, \hat{C}

$\widehat{\mu}, \widehat{L}, \widehat{Q}, \widehat{C}$

$\widehat{L}$

— Fimba
kaynak