Tüm etkileşimler terimlerinin regresyon modelinde kendi terimleri gerekir mi?

68

Aslında yazarların 5-6 logit regresyon modellerini AIC ile karşılaştırdıkları bir makaleyi inceliyorum. Bununla birlikte, bazı modellerde bireysel değişken terimlerini dahil etmeden etkileşim terimleri vardır. Bunu yapmak hiç mantıklı geliyor mu?

Örneğin (logit modellerine özgü değil):

M1: Y = X1 + X2 + X1*X2
M2: Y = X1 + X2
M3: Y = X1 + X1*X2 (missing X2)
M4: Y = X2 + X1*X2 (missing X1)
M5: Y = X1*X2 (missing X1 & X2)

Ben her zaman X1 * X2 etkileşim terimine sahipseniz, X1 + X2'ye de ihtiyacınız olduğunu düşündüm. Bu nedenle, 1. ve 2. modeller iyi olacak ancak 3-5 modelleri sorunlu olacaktır (AIC daha düşük olsa bile). Bu doğru mu? Bir kural mı yoksa daha fazla bir rehber mi? Bunun arkasındaki nedeni açıklayan iyi bir referansı olan var mı? Sadece incelemede önemli bir şeyi yanlış anlamadığımdan emin olmak istiyorum.

Düşüncelerin için teşekkürler, Dan.

— djhocking
kaynak

8

+1, bence bu gerçekten iyi bir soru. Aynı bölgeyi kapsayan daha önceki bir soruyu da kontrol etmek isteyebilirsiniz . Cevaplar da gerçekten mükemmel.

— dediklerinin - Monica Yeniden

Zaten çok iyi cevaplar var. Bir yoktu Rindskopf kağıt sen do bazı durumlarda üzerinde değil ana etkileri gerekir. (Ayrıca bakınız bu bir )

— Peter Flom

3

AFAIK: R 'de (), :A: B'deki gibi etkileşimler içindir. Ve *hem ana etkiler hem de etkileşimler içindir, yani A * B = A + B + A: B. Öyleyse, (!) Yazının yazarları bu notaları takip ederse, modellerden hiçbirinin e-posta etkisinin eksik olduğunu sanmıyorum?

— Zhubarb

Ayrıca, mevcut cevaplardakiyle aynı mantık daha yüksek dereceli etkileşimler için de geçerlidir (örneğin 3

— yolluysa

38

Bu çoğu zaman kötü bir fikirdir - asıl sebep, modeli artık konum değişimlerine karşı değişmez hale getirmesidir. Örneğin, tek bir sonuca ve iki belirleyiciye ve ve modeli belirtin: $y_i$ $x_i$ $z_i$

y_{i} = β_{0} + β_{1} x_{i} z_{i} + ε

$y_i = \beta_0 + \beta_1 x_{i} z_i + \varepsilon$

Eğer tahmin araçlarını , olur $x_i z_i$

(x_{i} - \bar{x}) (z_{i} - \bar{z}) = x_{i} z_{i} - x_{i} \bar{z} - z_{i} \bar{x} + \bar{x} \bar{z}

$(x_i - \overline{x})(z_i - \overline{z}) = x_i z_i - x_{i} \overline{z} - z_{i} \overline{x} + \overline{x} \overline{z}$

Böylece, ana etkilerin modele yeniden dahil edildiğini görebilirsiniz.

Burada bir sezgisel argüman verdim, ancak bu pratik bir konu sunuyor. Sayfa 114'deki Faraway (2005) ' de belirtildiği gibi , ölçekte yapılan ilave bir değişiklik, ana etkiler modelden çıkarıldığında model çıkarımını değiştirirken, düşük sıradaki terimler söz konusu olduğunda bu gerçekleşmez. Konum değişikliği gibi rastgele şeylerin, düşük dereceli etkileri olmayan bir modelde polinom terimleri veya etkileşimleri dahil ettiğinizde meydana gelebilecek gibi istatistiksel çıkarımda (ve dolayısıyla araştırmanızın sonuçlarında) temel bir değişikliğe neden olması normalde istenmez.

Not: Etkileşimi yalnızca dahil etmek isteyeceğiniz, belirli bir anlamlı anlamı varsa veya yalnızca değişkenlerini değil, ürünü gözlemlerseniz, özel . Ancak, bu durumda, tahmin ve modele devam edilebilir. $x_i z_i$ $x_i, z_i$ $a_i = x_i z_i$

y_{i} = α_{0} + α_{1} a_{i} + ε_{i}

$y_i = \alpha_0 + \alpha_1 a_i + \varepsilon_i$

bir etkileşim terimi olarak düşünmek yerine . $a_i$

— Makro
kaynak

additive change in scale changes the inference (the t -statistics) for all but the highest order terms when any lower order terms are left out of the model

Belirleyicilerinin katkı değişikliği genel olarak değişir t hatta tam modelinde ana etkileri (alt sırası terimleri) arasında. Korunması genel olarak uygundur (R ^ 2) (ancak bazı ana efektlerin düştüğü bir modelde ilave değişiklik altında korunmaz). Söylemek istediğin şey bu mu?

— ttnphns

Evet, doğru @ ttnphns - bunu gösterdiğiniz için teşekkürler - Cevabımı bunu yansıtacak şekilde biraz değiştirdim.

— Makro,

28

Şu ana kadarki cevapların hepsi çok temel bir noktayı kaçırıyor gibi görünüyor: Seçtiğiniz işlevsel biçim, bilimsel olarak alakalı özellikleri yakalamak için yeterince esnek olmalıdır. 2-5 arası modeller, bilimsel gerekçeler olmadan bazı terimlere sıfır katsayılar uygular. Ve bilimsel olarak haklı olsa bile, Model 1 çekici olmaya devam ediyor, çünkü onları dayatmak yerine sıfır katsayıları test edebiliyorsunuz.

Anahtar, kısıtlamaların ne anlama geldiğini anlamaktır. Model 3-5'ten kaçınmak için tipik tavsiye, çoğu uygulamada uyguladıkları varsayımların bilimsel olarak zorlanabilmesidir. Model 3, X2'nin sadece dY / dX1 eğimini etkilediğini, ancak seviyeyi etkilemediğini varsayar. Model 4, X1'in sadece dY / dX2 eğimini etkilediğini, ancak seviyeyi etkilemediğini varsayar. Ve Model 5, ne X1 ne de X2'nin seviyeyi etkilediğini, ancak sadece dY / dX1 veya dY / dX2 olduğunu varsayar. Çoğu uygulamada bu varsayımlar makul görünmemektedir. Model 2 ayrıca sıfır katsayısı dayatıyor ancak yine de bazı değerleri var. Birçok durumda bilimsel amacı yerine getiren verilere en iyi doğrusal yaklaşımı verir.

— Tristan
kaynak

5

(+1) Bu doğru, ancak asıl poster yazarların model seçimi yapmaya çalıştığı bir durumu tarif ediyor gibi görünüyordu ve aday modellerinin bazıları etkileşimi içermeyen durumdaydı - bu yüzden motivasyonları AIC tarafından yönlendirildi. önemli bir şeyden ziyade (ki her zaman yapmak tehlikeli bir şeydir, ama görünüşe göre yapmışlardır). Önemli bir şeyin rehberliğinde olduğunuzda, model yapısı buna göre dikte edilmelidir. Ancak, istatistiksel bir kriter tarafından yönlendirildiğiniz zaman, cevabımda belirttiğim gibi ana etkilerin dışlanması kötü özelliklere sahip olabilir.

— Makro

16

+1 ila @Macro. Kategorik tahmincileriniz olduğunda endişelendiğiniz şeyin benzer bir nokta olduğunu ortaya çıkarmama izin verin. Çok, nasıl kodlandıklarına bağlı olabilir . Örneğin, referans hücre (aka, 'kukla') kodlaması 0 & 1 kullanır, efekt kodlaması ise -1, 0 ve 1 kullanır. Her biri iki seviyeli iki faktöre sahip basit bir durum düşünün, ardından $x_1x_2$ kullanılan kodlama şemasına bağlı olarak [0, 0, 0, 1] veya [1, -1, -1, 1] olabilir. Bir kodlama şeması ile sadece etkileşimin 'anlamlı' olduğu bir durumun olabileceğine, ancak diğer şema kullanılarak tüm terimlerin 'önemli' olduğuna inanıyorum. Bu, anlamlı yorumlayıcı kararların, aslında yazılımınızın sizin bilginiz olmadan sizin için vermiş olabileceği keyfi bir kodlama kararına dayanarak alınacağını belirtir. Bunun küçük bir nokta olduğunun farkındayım, ancak yalnızca etkileşimi korumak için iyi bir fikir olmaması (ve elbette p-değerlerine dayanan bir yordayıcılar alt kümesi seçmemek) için yalnızca bir neden daha var.

— dediklerinin - Monica Reinstate
kaynak

1

Kategorik ana etkiler için önemlilik testi, daha az değişmez değildir. Bir grup, tedavi kodlaması altındaki referans grubundan önemli ölçüde farklı olabilir, ancak kontrast kodlaması altındaki "genel ortalama" etkisinden farklı olabilir.

— olasılık olasılığı

10

Bir makaleyi gözden geçirdiğiniz için, yazarların model hiyerarşisi konusunu tartışmasını ve ayrılmalarını haklı çıkarmasını önerebilirsiniz.

İşte bazı referanslar:

Nelder JA. Tepki yüzeyli modellerde terimlerin seçimi - zayıf kalıtım ilkesi ne kadar güçlü? Amerikan İstatistiği. 1998; 52: 315-8. http://www.jstor.org/pss/2685433 . Erişim tarihi 10 Haziran 2010.
Peixoto JL. Polinom regresyon modellerinde hiyerarşik değişken seçimi. Amerikan İstatistiği. 1987; 41: 311-3. http://www.jstor.org/pss/2684752 . Erişim tarihi 10 Haziran 2010.
Peixoto JL. İyi formüle edilmiş polinom regresyon modellerinin bir özelliği. Amerikan İstatistiği. 1990; 44: 26-30. http://www.jstor.org/pss/2684952 . Erişim tarihi 10 Haziran 2010.

Genelde hiyerarşiyi takip ediyorum ama bazı durumlarda ondan ayrılıyorum. Örneğin, birkaç farklı hızda lastik aşınmasına karşı kilometreyi test ediyorsanız, modeliniz şöyle görünebilir:

diş derinliği = kesişme + kilometre + kilometre * hız

Ancak, hızın ana milinin ne kadar olacağını bilmediğinden, hızın ana etkisini dahil etmek fiziksel olarak mantıklı olmaz.

(Öte yandan, hala bir hız efektini test etmek isteyebilirsiniz, çünkü "zorla girme" etkilerinin farklı hızlarda farklılık gösterdiğini gösterebilir. Öte yandan, zorla girmenin daha iyi bir yoludur veriyi sıfıra ve çok düşük kilometreye getirin ve daha sonra doğrusal olmayanlığı test edin.

Ayrıca yukarıda söylediklerini tekrarlayacağım, çünkü bu çok önemli: Yazarların, yazılımlarının verileri merkezleyip merkezlemediğini bildiklerinden emin olmaları gerekir. Yazılımın kilometreyi (kilometre - kilometre ortalaması) değiştirmesi durumunda yukarıdaki lastik modeli fiziksel olarak saçma hale gelir.

Aynı şeyler farmasötik stabilite çalışmalarıyla da ilgilidir ("Sıralı Depolama İçin Kararlılık Modellerinde Teğetsel Olarak Belirtilmiştir", Emil M. Friedman ve Sam C. Shum, AAPS PharmSciTech, Cilt 12, No. 1, Mart 2011, DOI: 10.1208 / s12249-010-9558-x).

— Emil Friedman
kaynak

1

teşekkür ederim, bu harika bir cevap ve bunu istatistiksel olarak anlayışlı olmayan insanlara açıklamama yardımcı olacak.

— 54'te djhocking

1

+1 SO üzerindeki cevapları birleştirmek mümkün olsaydı. Bu, yukarıda kabul edilen cevabı ile mükemmel cevabı oluşturur.

— Zhubarb,

9

Bunu gösteren gerçek bir vakam oldu. Verilerde, group0 kontrol ve 1 tedavi ile temsil edilen değişkenlerden biri . Diğer belirleyici, time periodtedaviden önce 0 ve tedaviden sonra 1 ile temsil edildi. Etkileşim, tedavinin etkisini ölçen ana parametredir, tedavi grubundaki tedaviden sonraki fark, kontrol grubunda ölçülen zamanın herhangi bir etkisinin üzerindedir. Ana etkisigroupHerhangi bir tedaviden önce 2 gruptaki farkı ölçtüler, böylece kolayca 0 olabilir (randomize bir deneyde 0 olmalı, bu olmamalıydı). 2. ana etki, kontrol grubunun tedavi olmadığı önceki ve sonraki zaman periyodları arasındaki farkı ölçmektedir, bu nedenle etkileşim terimi sıfır olmayan bir durumda 0 olabilir. Elbette bu, olayların nasıl kodlandığına ve farklı bir kodlamanın anlamları değiştireceğine ve etkileşimin ana etkiler olmadan anlamlı olup olmamasına bağlıdır. Bu yüzden, sadece belirli durumlarda ana etkiler olmadan etkileşime uyması mantıklıdır.

— Greg Snow
kaynak

Yani tüm bunların çalışmanızın amaçlarına mı yoksa parametrelerinize dayanarak mı bağlı olduğunu mu kastediyorsunuz?

— Ben

1

@Ben, hem değişkenlerinizi nasıl parametreleştireceğinize bağlı olabileceğime (örneğimde, her iki değişken için de 0 / 1'i 0 / 0'ya çevirmek) yorumu değiştirebilir) ve hangi soruları cevaplamaya çalıştığınıza ve hangi varsayımları yapmaya istekli olduğunuza bağlı olabilir. .

— Greg Snow,

cevabın için teşekkürler. İki yollu etkileşime sahibim ve bunun sahte bir yıl ile etkileşime girmesini istiyorum. Ben sadece 2008 yılını (düzenleme yılı) etkileşimi iki şekilde değerlendirmek istiyorum. öyleyse X ve Z sürekli değişkenlerdir, Z düzenleme derecesidir. 2008 yılı diğer yıllar için 1 ve 0 olarak değerlendirildi. bu yüzden sanki etkileşime girmeden yalnızca 2008 yılının gözlemlerini alırsam. Zayıf ve güçlü kalıtım prensibini okudum, ama açıkça anlamadım

Y = B_{0} + B_{1} X + B_{2} Z + B_{3} X * Z * 2008 + y e a r d u m m i e s

$Y= B_0+B_1 X+B_2 Z+B_3X*Z*2008+yeardummies$

— Ben

1

@Ben, temelde 2008'de bir etkileşim olduğunu (veya olabileceğini) düşündüğünü söyleyen yukarıdaki modele uymak kesinlikle mümkündür, ancak başka bir yılda değil. Bunun için bir gerekçeniz varsa, o zaman modelin iyi olduğunu düşünüyorum. Ancak, muhtemelen bunu herhangi bir izleyici kitlesine haklı göstermeniz gerekeceği olağandışı bir varsayımdır.

— Greg Snow,

yardımcı oldu çok teşekkürler. tüm dönem için olmasına rağmen etkileşimin çıktısını ile karşılaştırmak uygun mudur , ancak etkileşim yalnızca 2008 yılı içindir

B 1 X

$B1X$

B 1 X

$B1X$

— Ben

7

Peter ile aynı fikirdeyim. Bence kural folklordur. Neden iki değişkenin modeli yalnızca bir etkileşim nedeniyle etkileyeceği bir durumu düşünelim? Kimyadaki bir benzetme, iki kimyasalın kendi başlarına tamamen etkisiz olmaları, ancak bir araya geldiklerinde patlamaya neden olmalarıdır. Değişmezlik gibi matematiksel / istatistiksel niceliklerin gerçek verilerle ilgili gerçek bir sorunla ilgisi yoktur. Sadece, düşünülecek çok sayıda değişken olduğunda, tüm ana etkilere bakacaksanız ve çoğu birinci dereceden etkileşimlerin tümü olmasa bile yapılacak çok fazla test olduğunu düşünüyorum. Aynı zamanda, neredeyse sadece bir avuç değişkenli küçük deneylerde bile ikinci dereceden etkileşimlere asla bakmayız. Düşünce, etkileşim düzeni ne kadar yüksek olursa, gerçek bir etkisinin olması o kadar düşüktür. Öyleyse yapma Ana etki bulunmuyorsa, birinci veya ikinci dereceden etkileşimlere bakın. Belki de ancak bunu dini olarak takip etmek iyi bir kuraldır, istisnalara göz atmak anlamına gelir ve sorununuz da bir istisna olabilir.

— Michael Chernick
kaynak

8

Re: "Değişmezlik gibi matematiksel / istatistiksel niceliklerin gerçek verilerle gerçek bir sorunla ilgisi yoktur" - -değerleriniz ve dolayısıyla istatistiksel çıkarımınız (ve dolayısıyla sizin " ne zaman gerçek verilerle ilgili gerçek bir sorunla ilgisi var) gerçek dünya "bir tahmininin önemi hakkındaki karar), tahminde bulunma kararınız kadar keyfi bir şeye bağlı olabilir.

p

$p$

— Makro

1

Muhtemelen değişmezliğin gerçek dünyada bir ilgisi olmadığını söylerken yanlış konuştum. Amacım, bazı matematiksel sonuçların belirli bir pratik problemle alakalı olamayacağı yönündeydi. Örnek olarak, en küçük kareler tahminleri, normal hata varsayımları altında maksimum olasılıktır ve Gauss Markov teoremi tarafından, zayıf koşullar altında asgari sapma vardır, ancak verilerde aykırı değerler olduğunda bunu kullanmam. Aynı şekilde, değişmezlik gibi bir özellik, tıbbi olarak temel etkileri olmadan ortaya çıkacağını söylerken mantıklı bir etkileşim içerdiğini de göz ardı etmeli mi?

— Michael Chernick

6

[çoğu cevabın açığa çıktığı düşünülen orijinal sorunun bir kısmını cevaplamaya çalışmak: "bir model seçim kriteri olarak AIC güvenilir olmalı mı?"]

AIC, bir kılavuz olarak, müjde olarak alınması gereken bir kuraldan çok kullanılmalıdır.

AIC'in etkinliği (veya BIC veya model seçimi için benzer herhangi bir 'basit' kriter), öğrenme algoritmasına ve soruna bağlıdır.

Bunu şu şekilde düşünün: AIC formülündeki karmaşıklık (faktör sayısı) teriminin amacı basittir: fazla uygun modellerin seçilmesinden kaçınmak. Ancak AIC'in sadeliği, sıklıkla sorunun kendisinin gerçek karmaşıklığını yakalayamıyor. Bu yüzden aşırı takılmayı önlemek için başka pratik teknikler de var: örneğin, çapraz onaylama veya bir düzenlileştirme terimi ekleme.

Çok fazla sayıda giriş içeren bir veri setinde doğrusal regresyon yapmak için çevrimiçi SGD'yi (stokastik gradyan iniş) kullandığımda, AIC'yi çok sayıda terim içeren karmaşık modelleri aşırı derecede cezalandırdığı için model kalitesinin korkunç bir tahmincisi olarak görüyorum. Her terimin küçük bir etkiye sahip olduğu birçok gerçek yaşam durumu vardır, ancak birlikte, çoğu, bir sonucun güçlü istatistiksel kanıtını verir. AIC ve BIC model seçim kriterleri bu modelleri reddeder ve daha karmaşık olanları üstün olsa da, daha basit olanları tercih eder.

Sonunda, önemli olan genelleme hatası (kabaca: örneklem performansı dışındadır). AIC, göreceli olarak basit durumlarda bazı model kalitesi ipuçları verebilir. Sadece dikkatli olun ve gerçek hayatın basit bir formülden daha karmaşık, daha karmaşık olmadığını unutmayın.

— arielf
kaynak