Bir modele ikinci dereceden bir terim eklemek, doğrusal terim eklemek mantıklı mıdır?

57

Öngörücülerimden birinin öncülün yordayıcıyla yalnızca kuadrik olarak ilişkili olması gereken (deneysel manipülasyon nedeniyle) bir (karma) modelim var. Dolayısıyla, modele yalnızca ikinci dereceden bir terim eklemek istiyorum. İki şey yapmamı engelliyor:

Sanırım bir şeyler okudum, her zaman daha yüksek dereceli polinomları yerleştirirken düşük dereceli polinomu dahil etmelisiniz. Nerede bulduğumu unuttum ve literatürde baktım (örneğin, Faraway, 2002; Fox, 2002) İyi bir açıklama bulamıyorum.
Her ikisini de eklediğimde, her ikisi de doğrusal ve ikinci dereceden bir terimdir. Onlardan sadece birini eklediğimde, anlamlı değiller. Bununla birlikte, yordayıcı ve verilerin doğrusal bir ilişkisi yorumlanamaz.

Sorumun bağlamı, özellikle kullanan bir karma modeldir lme4, ancak neden daha yüksek dereceli bir polinom değil, daha düşük dereceli polinomu dahil etmenin neden uygun olmadığını veya neden tamam olmadığını açıklayabilecek cevaplar almak istiyorum.

Gerekirse verileri sağlayabilirim.

regression polynomial

— Henrik
kaynak

5

Bu sorunun cevabının yardımcı olabileceğini düşünüyorum.

6

Evet, Procrastinator ile aynı fikirdeyim ve etkileşim soruları temelde aynı şey. Konuyla ilgili birkaç oy hakkımız var. Pro'nun önerisine ek olarak, ayrıca bkz. Tüm etkileşim terimlerinin regresyon modelinde kendi özel terimlerine ihtiyacı var mı? ve Etkileşim, regresyondaki doğrudan etkilerimi ortadan kaldırırsa ne olur? .

— Andy,

Bu soruları hatırlattığınız için teşekkür ederiz. Burada verilen cevaplardan, sadece ikinci dereceden bir terim eklemek için yanlış bir sebep olmadığına dair önceden haklı sebeplerin olması iyi bir strateji gibi görünüyor. Kalan soru, ölçeklenebilirlik ile ilgili bir sorundur (bkz: stats.stackexchange.com/a/27726/442 ). Değişkenlerimi sadece ikinci dereceden bir terim kullanırken uydurmadan önce ortalamalı mıyım?

— Henrik

1

@Henrik - gönderdiğiniz bağlantıdaki cevabım, modelin yordayıcı değerlerindeki keyfi değişimlere (bağımlılık merkezleme gibi) ne kadar bağımlı olarak kayıtsız kaldığına bağlıydı. soru 'hayır', aynı nedenle.

— Makro

2

Karesel ve doğrusal karesel meselesi, bunun yinelenmiş sayılmaması gerektiğini düşündüğüm etkileşimlerden yeterince kavramsal olarak farklı.

— dediklerinin - Monica Yeniden

66

1. Neden doğrusal terimi dahil ediyor?

İkinci dereceden bir ilişkinin iki şekilde yazılabileceğini fark etmek aydınlatıcıdır:

y = a_{0} + a_{1} x + a_{2} x^{2} = a_{2} (x - b)^{2} + c

$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$

(katsayıları denk burada,, sürekli olarak ve ). değeri $-2a_2 b = a_1$ $a_2 b^2 + c = a_0$ $x=b$ , ilişkinin global bir ucuna karşılık gelir (geometrik olarak bir parabolün tepe noktasını belirler).

Eğer doğrusal terimin dahil etmezseniz olasılıklar indirgenir $a_1 x$

y = a_{0} + a_{2} x^{2} = a_{2} (x - 0)^{2} + c

$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$

(şimdi, açıkçası, olduğu ve modelin sabit terimini içerdiği varsayılmaktadır ). Yani, sen zorla $c = a_0$ $a_0$ $b=0$ .

Bunun ışığında, soru 1 , global ekstremumun gerçekleşmesi gerektiğinden emin olup olmadığınıza iner . Eğer öyleyse, o zaman güvenle doğrusal terim ihmal edebilirsiniz . Aksi takdirde, sen $x=0$ $a_1 x$ eklemelisiniz .

2. Terimler dahil edildiğinde veya hariç tutuldukça önemlilikteki değişiklikler nasıl anlaşılır?

Bu konu, https://stats.stackexchange.com/a/28493 adresindeki ilgili bir konuda ayrıntılı olarak ele alınmıştır .

Mevcut durumda, önemi orada eğrilik ilişkisi olduğunu ve önemi belirten olduğunu gösterir sıfırdan farklı olduğu: Her iki terim (yanı sıra tabii ki, sabit) eklemeniz gerekir gibi geliyor. $a_2$ $a_1$ $b$

— whuber
kaynak

1

Teşekkürler whuber. Mükemmel cevap. Bu yüzden teorik ekstremumu 0 'a ortalarsam (aslında minimumdur) Doğrusal terimi atlamama iyi olur. Bu, gerçek anlamda çok önemli bir kuadratik belirleyiciye (doğrusal olanı olmadan) yol açar.

— Henrik

eğer bir değişkenin hem doğrusal hem de ikinci dereceden terimleri birbiriyle ilişkiliyse, ikisini de bir modele dahil edebilir miyim, yoksa birini hariç tutabilir miyim (ki bunun ikinci dereceden olması gerektiğini varsayarım)?

— mtao

@Teresa Regresyondaki ilişkili terimleri ortadan kaldırmak için genel bir neden yoktur. (Durum böyle olsaydı, şimdiye kadar yaratılmış olan regresyon modellerinin büyük çoğunluğu başı belada olurdu!) Birlikte, modelin tek başına bir terime göre anlamlı bir şey ifade etmemesine katkıda bulunan çok güçlü bir şekilde ilişkili terimler, bu terimlerin bir alt kümesine indirgenebilir.

— whuber

@whuber, çok teşekkür ederim! Ayrıca, bir lojistik regresyon modeli için, etki büyüklüğünü tahmin etmek için oran oranını kullandım, ancak yalnızca doğrusal terimlerle. Doğrusal ve ikinci dereceden sahip olduğumda, aynı yaklaşımı kullanabilir ve sonuçları aynı şekilde yorumlayabilir miyim?

— mtao

Tam değil. Bunun nedeni, doğrusal ve ikinci dereceden terimleri ayrı ayrı değiştiremeyeceğinizdir. Orijinal değişkeni biraz değiştirdiğinizde yanıtın nasıl değişeceğini de göz önünde bulundurmalısınız.

— whuber

22

@whuber burada gerçekten mükemmel bir cevap verdi. Sadece küçük bir ücretsiz nokta eklemek istiyorum. Soru “öngörücü ve veri doğrusal bir ilişkisinin yorumlanamaz” olduğunu belirtir. Bu, genel olarak yanlış bir anlama işaret etse de, genellikle diğer tarafta da duyuyorum (“kare [kübik, vb.” Terimi nedir?).

Birden fazla farklı değişkene sahip bir modelimiz olduğunda , her beta [terim] genellikle kendi yorumunu karşılayabilir. Örneğin, eğer:

{\hat{GPA}}_{c Ö l l e g e} = β_{0} + β_{1} {GPA}_{h ben g h s c h Ö Ö l} + β_{2} sınıf sırası + β_{3} OTURDU,

$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$

(GPA not ortalaması ortalaması;
aynı öğrencinin diğer öğrencilere göre öğrencinin not ortalamasının sıralaması;
SAT ise üniversiteye giden öğrenciler için standart, ülke çapında bir test olan 'skolastik yetenek testi' anlamına gelir)

o zaman her beta / terime ayrı yorumlar atayabiliriz. Örneğin, eğer bir öğrencinin lise genel not ortalamasının 1 puan daha yüksek olması - diğer her şey eşit olması durumunda - üniversite not ortalamasının puan daha yüksek olacağını tahmin ediyoruz . $\beta_1$

Bununla birlikte, bir modelin bu şekilde yorumlanmasına her zaman izin verilmediğinin belirtilmesi önemlidir. Açık bir durum, değişkenlerin bazıları arasında bir etkileşim olduğu zaman, bireysel terimin farklılaşması mümkün olmayacağından ve yine de her şeyin sabit tutulması gerektiğinden, etkileşim terimi de değişecektir. Dolayısıyla, bir etkileşim olduğunda, ana etkileri yorumlamayız , ancak iyi anlaşıldığı gibi sadece basit etkileri yorumluyoruz .

\hat{y} = β_{0} + β_{1} x + β_{2} x^{2}

$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$

x

$x$

x

$x$

x^{2}

$x^2$ $x^2$ $x$ $x^{17}$

p

$p$

p - 1

$p-1$

x

$x$

y

$y$

\hat{y}

$\hat{y}$

x

$x$

\frac{d y}{d x} = β_{1} + 2 β_{2} x

$\frac{dy}{dx}=\beta_1+2\beta_2x$

y

$y$

x

$x$

y

$y$ $x$

y

$y$

x_{o l d}

$x_{old}$

x_{n e w}

$x_{new}$ . Bu sadece eğrisel bir ilişkinin doğasıdır.

— dediklerinin - Monica Reinstate
kaynak

1

Mükemmel tepki! Bu bana kullanıcı etkileşiminin etkilerini yorumlamak için kullandığı chl'nin verdiği birkaç mükemmel yanıtı hatırlatıyor . Bu yanıtta makale referansları veriyor, Etkileşim etkilerini tanımlamada en iyi yöntemler nelerdir? . Ve bu yanıtta eşeyler kullanarak grafiksel olarak etkileşimi gösteren harika bir örnek verir, İki sürekli değişken arasında etkileşim mümkün mü? .

— Andy W

1

Gung'in cevabına göre, sadece istatistiksel modellemenin bir polinom regresyon modelinde ayrıntıları gizleyebilecek gürültüyü içerdiğini söylemek istiyorum. Bill Huber'in ortaya çıkardığı merkezleme sorununun bir yörünge olduğunu düşünüyorum, çünkü bir oluşumda doğrusal bir terim eksik, diğerinde ikinci dereceden terim ile ortaya çıkıyor. Sinyaldeki eğriliğin gücü, birinci dereceden bir terimden daha yüksek bir gereksinimi ortaya koyuyor ancak bize gerçekten lineer bir terime duyulan ihtiyaç hakkında hiçbir şey anlatmıyor.

— Michael Chernick

7

@ whuber'un yukarıdaki cevabı , doğrusal terimden kaçınmanın "olağan" kuadratik modelin, "ekstremumun olduğuna kesinlikle emin olduğumu belirtmekle eşdeğer olduğunu belirtmekte haklıdır. $x=0$ .

Ancak, kullandığınız yazılımın bir "gotcha" olup olmadığını da kontrol etmeniz gerekir. Bazı yazılımlar bir polinom takarken ve katsayılarını test ederken verileri otomatik olarak ortalayabilir $Y = b_0 + b_2(x - \bar{x})^2$ $\bar{x}$ $x$ $x=\bar{x}$ .

Her ikisine de girildiğinde hem doğrusal hem de ikinci dereceden terimlerin anlamlı olduğu ifadesi bazı açıklamalara ihtiyaç duyar. Örneğin, SAS bu örnek için bir Tip I ve / veya Tip III testi bildirebilir. Tip I, karesel ifadeyi koymadan önce doğrusallığı test eder. Tip III modeldeki karesel ile doğrusal çizgiyi test eder.

— Emil Friedman
kaynak

2

x^{2}

$x^2$

x = 0

$x=0$

x = \bar{x}

$x=\bar{x}$

x

$x$

x^{2}

$x^2$ , yani merkezleme olsaydı ilişkilidir değiloluştu.

— gung - Monica’yı yeniden kurun

Farklı bir notta, 'at' sembolü ile mümkün olan kullanıcı adını belirterek kullanıcının katkılarına başvurabilirsiniz. Örneğin, bu durumda, '@ whuber'un cevabı hedefteki haklıdır ...' (Kabul ettiğim bir duyarlılık.)

— gung - Reinstate Monica

1

Teşekkürler, Emil, bu hatırlatıcıları paylaştığınız için: ikisi de akılda tutmaya değer.

— whuber

3

Brambor, Clark ve Golder (2006) (bir internet ekiyle birlikte gelir ), etkileşim modellerini nasıl anlayacağınız ve neden neredeyse her zaman daha düşük sıralı terimleri eklemeniz gerektiğini de içeren ortak tuzaklardan nasıl kaçınacağınız konusunda çok net bir şekilde açıklanmıştır. etkileşim modellerinde "kurucu terimler").

Analistler, çok nadir durumlar haricinde, çoklayıcı etkileşim modellerini belirlerken tüm kurucu terimleri içermelidir. Kurucu terimlerle, etkileşim terimini oluşturan öğelerin her birini kastediyoruz. [..]

Okuyucu çarpımsal etkileşim modelleri çeşitli şekillerde alabilir ve bu şekilde ikinci dereceden terimleri içerebilir, ancak, dikkat edilmelidir , olduğu gibi veya daha yüksek dereceden etkileşim açısından . Etkileşim terimi ne şekilde olursa olsun, bütün kurucu terimler dahil edilmelidir. Bu nedenle, etkileşimi terimi olduğunda dahil edilmelidir $X^2$ $XZJ$ $X$ $X^2$ $X$ $Z$ $J$ $XZ$ $XJ$ $ZJ$ $XZJ$

Bunu yapmamak, önyargılı tahminlere yol açacak belirsiz bir modele neden olabilir. Bu çıkarımsal hatalara yol açabilir.

Bu durumda ve , ile bağıntılıysa $Z$ $XZ$ $X$ $Z$ $\beta_0$ $\beta_1$ $\beta_3$

— landroni
kaynak