Doğrusal regresyonda önem çelişkisi: anlamlı olmayan genel F istatistiğine karşı bir katsayı için anlamlı t testi

4 kategorik değişken (her biri 4 seviye ile) ve sayısal çıktı arasında çoklu doğrusal regresyon modeli kullanıyorum. Veri setimin 43 gözlemi var.

Regresyon bana her eğim katsayısı için testindeki şu -değerlerini verir : . Bu nedenle, 4. belirleyicinin katsayısı güven düzeyindedir.$p$$t$$.15, .67, .27, .02$$\alpha = .05$

Öte yandan, regresyon bana tüm eğim katsayılarımın sıfıra eşit olduğu varsayımının genel testinden bir değeri verir . Veri setim için bu değeri .$p$$F$$p$$.11$

Sorum şu: bu sonuçları nasıl yorumlamalıyım? Hangi -değeri kullanmalıyım ve neden? Önemli ölçüde farklı 4 değişken için katsayı mı at güven düzeyi?$p$$0$$\alpha = .05$

Bir regresyonda $F$ ve $t$ istatistiği ile ilgili bir soru gördüm , ancak tam tersi bir durum vardı: yüksek $t$ testi $p$ -değerleri ve düşük $F$ testi $p$ değeri. Açıkçası, lineer regresyon katsayılarının sıfırdan önemli ölçüde farklı olup olmadığını görmek için t- testine ek olarak neden bir $F$ testine ihtiyaç duyduğumuzu tam olarak anlamıyorum .$t$

Çok kutupluluğun burada olan şey olduğundan emin değilim. Kesinlikle olabilir , ama verilen bilgilerden bunu bitiremiyorum ve oradan başlamak istemiyorum. İlk tahminim, bunun çoklu karşılaştırma sorunu olabileceği yönünde. Yani, yeterince test yaparsanız, orada hiçbir şey olmasa bile bir şeyler görünecektir.

Üzerinde durduğum konulardan biri, çoklu karşılaştırma probleminin her zaman birçok çiftli karşılaştırmanın incelenmesiyle tartışılmasıdır - örneğin, her benzersiz seviye eşleşmesinde t testleri yapmak. (Birden fazla kıyaslamanın mizahi bir tedavisi için, buraya bakın .) Bu, bu sorunun ortaya çıktığı tek yer olduğu izlenimini uyandırıyor. Ancak bu sadece doğru değil - çoklu karşılaştırma sorunu her yerde ortaya çıkıyor. Örneğin, 4 açıklayıcı değişkeni olan bir regresyon çalıştırırsanız, aynı sorunlar vardır. İyi tasarlanmış bir deneyde, IV'ler dikgen olabilir, ancak insanlar rutin olarak a priori, ortogonal kontrast setlerinde Bonferroni düzeltmelerini kullanmaktan endişe duyuyor ve faktoring ANOVA'ları hakkında iki kez düşünmüyorlar. Aklıma göre bu tutarsız.

Global F testi 'eşzamanlı' test olarak adlandırılır. Bu, tüm öngördürücülerinizin yanıt değişkeniyle ilgisi olup olmadığını kontrol eder . Eşzamanlı test, güç kaybeden Bonferroni güzergahına gitmek zorunda kalmadan çoklu karşılaştırma problemine karşı bir miktar koruma sağlar. Maalesef, bildirdiklerinize dair yorumum, boş bir bulgunuz olduğu.

Bu yorumlamaya karşı birçok şey hafifletilir. İlk olarak, sadece 43 veri ile neredeyse kesinlikle çok fazla güce sahip değilsiniz. Gerçek bir etkisi olması oldukça muhtemel, ancak daha fazla veri olmadan çözemezsiniz. İkincisi, @ andrea ve @Dimitriy gibi, 4 seviyeli kategorik değişkenleri sayısal olarak ele almanın uygunluğundan endişeleniyorum. Bu uygun olmayabilir ve gerçekten orada olanı tespit etme yeteneğinizi azaltmak da dahil olmak üzere herhangi bir sayıda etkiye sahip olabilir. Son olarak, önem testinin insanların inandığı kadar önemli olduğundan emin değilim. Bir $p$ arasında $.11$ olan tür düşük; Orada gerçekten bir şeyler mi var? olabilir! kim bilir? -05’te appearance parlak çizgi ’yoktur.

Bu fenomenin (önemli bir bireysel değişkene rağmen anlamlı olmayan bir genel testin) bir tür toplu "maskeleme etkisi" olarak anlaşılabileceğini ve çok yönlü açıklayıcı değişkenlerden ortaya çıkabileceğini düşünüldüğü halde, yapılması gerektiğini belirtmek isterim. hiç de değil. Ayrıca, çoklu karşılaştırma ayarlarından da kaynaklanmıyor. Bu nedenle, bu cevap, daha önce ortaya çıkmış olan cevaplara bazı nitelikler katmaktadır, bunun aksine, çok kutupluluk veya çoklu karşılaştırmaların suçlulara bakılması gerektiğini göstermektedir.

Bu iddiaların uygunluğunu belirlemek için, tam olarak ortogonal değişkenler - mümkün olduğu kadar collinear olmayan - ve sadece açıklamaların ilkiyle açıkça belirlenmiş bir bağımlı değişken (ve iyi miktarda rastgele hata) oluşturalım her şeyden bağımsız). Bu Ryapılabilir (denemek isterseniz, deneysel olarak)

set.seed(17)
p <- 5 # Number of explanatory variables
x <- as.matrix(do.call(expand.grid, lapply(as.list(1:p), function(i) c(-1,1))))
y <- x[,1] + rnorm(2^p, mean=0, sd=2)

Açıklayıcı değişkenlerin ikili olması önemsizdir; önemli olan ortogonalitedir, kodun beklendiği gibi çalıştığından emin olmak için kontrol edebiliriz, bu onların korelasyonlarını inceleyerek yapılabilir. Aslında, korelasyon matrisi ilginçtir : önerilen küçük katsayılar y, birincisi (tasarım tarafından olan) ve diyagonal olmayan sıfırların dışındaki değişkenlerin hiçbiriyle ilgisi olmadığını ve açıklayıcı değişkenlerin dikgenliğini onayladığını gösterir:

> cor(cbind(x,y))
     Var1  Var2  Var3   Var4  Var5      y
Var1 1.00 0.000 0.000  0.000  0.00  0.486
Var2 0.00 1.000 0.000  0.000  0.00  0.088
Var3 0.00 0.000 1.000  0.000  0.00  0.044
Var4 0.00 0.000 0.000  1.000  0.00 -0.014
Var5 0.00 0.000 0.000  0.000  1.00 -0.167
y    0.49 0.088 0.044 -0.014 -0.17  1.000

Şimdi sadece ilk değişkeni, sonra ilk ikisini kullanarak bir dizi regresyon çalıştıralım . Kısalıklık ve kolay karşılaştırma için, her birinde yalnızca ilk değişken ve genel F testi için satır gösteriyorum:

>temp <- sapply(1:p, function(i) print(summary(lm(y ~ x[, 1:i]))))

#              Estimate Std. Error t value Pr(>|t|)   
1  x[, 1:i]       0.898      0.294    3.05   0.0048 **
F-statistic: 9.29 on 1 and 30 DF,  p-value: 0.00478 

2  x[, 1:i]Var1    0.898      0.298    3.01   0.0053 **
F-statistic: 4.68 on 2 and 29 DF,  p-value: 0.0173 

3  x[, 1:i]Var1   0.8975     0.3029    2.96   0.0062 **
F-statistic: 3.05 on 3 and 28 DF,  p-value: 0.0451 

4  x[, 1:i]Var1   0.8975     0.3084    2.91   0.0072 **
F-statistic: 2.21 on 4 and 27 DF,  p-value: 0.095 

5  x[, 1:i]Var1   0.8975     0.3084    2.91   0.0073 **
F-statistic: 1.96 on 5 and 26 DF,  p-value: 0.118

(A) ilk değişkenin öneminin ne kadar değiştiğine bakın, (a ') ilk değişkenin çoklu karşılaştırmalar için ayarlama yaparken bile (p <.05) anlamlı kalmaya devam etmesini sağlayın ( örneğin , Bonferroni'yi nominal p-değeri ile çarparak uygulayın). açıklayıcı değişkenlerin sayısı), (b) ilk değişkenin katsayısı zar zor değişiyor, fakat (c) genel önem katlanarak artmakta ve hızla anlamlı olmayan bir seviyeye şişmektedir.

Bunu , bağımlı değişkenden büyük ölçüde bağımsız olan açıklayıcı değişkenleri dahil etmenin, regresyonun genel p-değerini "maskeleyebileceğini" göstermek olarak yorumluyorum . Yeni değişkenler var olanlara ve bağımlı değişkene dikey olduğunda, bireysel p-değerlerini değiştirmezler. (Burada görülen küçük değişiklikler, buna eklenen rasgele hatanın y, kazayla, diğer tüm değişkenlerle hafifçe korelasyon göstermesidir.) Bundan çıkarılacak bir ders, para cezasının değerli olduğudur : Gerektiği kadar az değişken kullanmak, önemini artırabilir. sonuçlar.

Ben am değil bu mutlaka küçük ifşa edildiği konusunda söz konusu veri kümesi için oluyor söyleyerek. Ancak bu maskeleme etkisinin olabileceği bilgisi , sonuçların yorumlanmasının yanı sıra değişken seçimi ve model oluşturma stratejilerimizi de bilgilendirmelidir.

Bunu, açıklayıcı değişkenleriniz arasında yüksek derecede bir ortaklığa sahip olduğunuzda meydana gelirsiniz. ANOVA F, tüm regresörlerin müştereken bilgilendirici olmadığı ortak bir testtir . X'leriniz benzer bilgiler içerdiğinde, model açıklayıcı gücü bir regresöre veya başka birine bağlayamaz, ancak bunların kombinasyonu yanıt değişkenindeki değişimin çoğunu açıklayabilir.

$x_{1}$$y$