Neden önemli bir F istatistiği (p <.001), ancak önemli olmayan regresör t-testleri elde etmek mümkündür?

70

Çoklu bir doğrusal regresyonda, neden oldukça anlamlı bir F istatistiğine sahip olmak mümkündür (p <.001), ancak tüm regresörün t testlerinde p değeri çok yüksek?

Benim modelimde 10 adet regülatör var. Biri p-değeri 0.1, geri kalanı 0.9'un üstünde

Bu sorunla ilgilenmek için takip eden soruya bakınız .

— Ηλίας
kaynak

2

Sabit de önemsiz mi? Kaç vaka var? Kaç tane değişken var?

— whuber

Çok kutupluluk nasıl teşhis edildi? Pek çok yöntem var, bazıları diğerlerinden daha bilgilendirici. Bize ne kadar çok söylerseniz, topluluk o kadar iyi cevap verebilir.

— StasK

3

Bu soru bir SSS haline geldi. Buradaki cevapların bazıları büyük ölçüde benzer ipliklerden birleştirildi.

— whuber

3

Ayrıca bakınız: bir regresyon nasıl anlamlı olabilir, ancak tüm tahmin ediciler önemsiz olabilir , ve bunun tersi bir tartışma için, buraya bakınız: anlamlı olmayan bir F-istatistiği ile önemli t-testi .

— gung

Aynı sorunu yaşadım ve yukarıdaki cevaplardan hiçbiri bana yardımcı olamaz. Şimdi cevabı biliyorum (en azından benim sorunuma göre): model 2'nin F değeri önemli olabilir, çünkü model 1'deki (değişken aynı zamanda) aynı 'sabit' (değişken) aldınız. 'Sig sütununda' Model Özeti 'adlı tabloya bakmak zorundasınız. F R 'karesinde değişimin anlamlı olup olmadığını görmek için' değiştir (model 2 için). Bu anlamlıysa, b değerleri de anlamlı olmalıdır. F değerini tamamen görmezden gelebilirsiniz.

53

Rob'dan da bahsettiğim gibi, bu yüksek oranda korelasyonlu değişkenlere sahip olduğunuzda ortaya çıkar. Kullandığım standart örnek, ayakkabı büyüklüğünden ağırlığı tahmin etmek. Ağırlığı sağ veya sol ayakkabı ölçüsü ile eşit derecede iyi tahmin edebilirsiniz. Fakat birlikte işe yaramaz.

Kısa simülasyon örneği

RSS = 3:10 #Right shoe size
LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS
cor(LSS, RSS) #correlation ~ 0.99

weights = 120 + rnorm(RSS, 10*RSS, 10)

##Fit a joint model
m = lm(weights ~ LSS + RSS)

##F-value is very small, but neither LSS or RSS are significant
summary(m)

##Fitting RSS or LSS separately gives a significant result. 
summary(lm(weights ~ LSS))

— csgillespie
kaynak

9

Bu durumda, her iki modelinizin de eşit derecede iyi tahmin ettiğini not etmek ilginç ve önemlidir. Tahmin ediciler arasında yüksek korelasyonlar tahmin için mutlaka bir problem değildir. Çok kutupluluk yalnızca bir problemdir; 1) analistler çoklu regresyon katsayılarını uygun olmayan şekilde yorumlamaya çalışırlar; 2) model tahmin edilebilir değildir; ve 3) SE'ler şişirilir ve katsayılar kararsızdır.

— Brett,

İki değişkenin birbirleriyle oldukça korele olduğunu anlıyorum, bu nedenle t testi sonucu F testi sonucu anlamlı değil. Ama bu nasıl oluyor? Yani, bu gerçeğin altında yatan neden nedir?

— yue86231

105

Buna neden olmak için bağımsız değişkenler arasında çok az korelasyon gerekir.

Nedenini görmek için aşağıdakileri deneyin:

Standart normal kimlikleri olan katsayılar ile 50 küme on vektör çizin. $(x_1, x_2, \ldots, x_{10})$
Hesaplamak için . Bu bireysel olarak standart hale getirir ancak aralarında bazı korelasyonlar vardır. $y_i = (x_i + x_{i+1})/\sqrt{2}$ $i = 1, 2, \ldots, 9$ $y_i$
Hesapla . Not . $w = x_1 + x_2 + \cdots + x_{10}$ $w = \sqrt{2}(y_1 + y_3 + y_5 + y_7 + y_9)$
Bazı bağımsız normal dağıtılmış hata . Küçük bir deney ile yine tespit ile çok iyi çalışır. Bu nedenle, , artı bir miktar hatanın toplamıdır . Ayrıca toplamıdır bazı artı aynı hata. $w$ $z = w + \varepsilon$ $\varepsilon \sim N(0, 6)$ $z$ $x_i$ $y_i$

Biz ele alacağız bağımsız değişkenler ve olmaya bağımlı değişkeni. $y_i$ $z$

İşte böyle bir veri kümesinin matrisi , üstte ve solda ve sırayla ilerliyor. $z$ $y_i$

Dağılım matrisi

ve arasındaki beklenen korelasyonlar durumda ve olduğunda . Gerçekleşen korelasyonlar% 62'ye kadar değişmektedir. Diyagonalın yanında daha dar saçılımlar olarak görünürler. $y_i$ $y_j$ $1/2$ $|i-j|=1$ $0$

Regresyonu bak karşı : $z$ $y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  9,    40) =    4.57
       Model |  1684.15999     9  187.128887           Prob > F      =  0.0003
    Residual |  1636.70545    40  40.9176363           R-squared     =  0.5071
-------------+------------------------------           Adj R-squared =  0.3963
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3967

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.184007   1.264074     1.73   0.092    -.3707815    4.738795
          y2 |   1.537829   1.809436     0.85   0.400    -2.119178    5.194837
          y3 |   2.621185   2.140416     1.22   0.228    -1.704757    6.947127
          y4 |   .6024704   2.176045     0.28   0.783    -3.795481    5.000421
          y5 |   1.692758   2.196725     0.77   0.445    -2.746989    6.132506
          y6 |   .0290429   2.094395     0.01   0.989    -4.203888    4.261974
          y7 |   .7794273   2.197227     0.35   0.725    -3.661333    5.220188
          y8 |  -2.485206    2.19327    -1.13   0.264     -6.91797    1.947558
          y9 |   1.844671   1.744538     1.06   0.297    -1.681172    5.370514
       _cons |   .8498024   .9613522     0.88   0.382    -1.093163    2.792768
------------------------------------------------------------------------------

F istatistiği oldukça önemlidir ancak bağımsız değişkenlerin hiçbiri 9'unun hiçbirinde değişiklik yapmadan bile değildir.

$z$ $y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  5,    44) =    7.77
       Model |  1556.88498     5  311.376997           Prob > F      =  0.0000
    Residual |  1763.98046    44  40.0904649           R-squared     =  0.4688
-------------+------------------------------           Adj R-squared =  0.4085
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3317

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.943948   .8138525     3.62   0.001     1.303736     4.58416
          y3 |   3.403871   1.080173     3.15   0.003     1.226925    5.580818
          y5 |   2.458887    .955118     2.57   0.013      .533973    4.383801
          y7 |  -.3859711   .9742503    -0.40   0.694    -2.349443    1.577501
          y9 |   .1298614   .9795983     0.13   0.895    -1.844389    2.104112
       _cons |   1.118512   .9241601     1.21   0.233    -.7440107    2.981034
------------------------------------------------------------------------------

Bonferroni ayarında bile bu değişkenlerin bazıları oldukça önemlidir. (Bu sonuçlara bakarak söylenebilecek daha çok şey var, ancak bu bizi ana noktadan uzaklaştırır.)

$z$ $y_2, y_4, y_6, y_8$ $z$

$y_i$

Bundan çıkartabileceğimiz bir sonuç , bir modele çok fazla değişken dahil edildiğinde gerçekten önemli olanları maskeleyebildikleridir. Bunun ilk işareti, bireysel katsayılar için çok önemli olmayan t-testlerinin eşlik ettiği oldukça anlamlı genel F istatistiğidir. (Değişkenlerin bazıları bireysel olarak önemli olsa bile, bu otomatik olarak diğerlerinin olmadığı anlamına gelmez. Bu, aşamalı regresyon stratejilerinin temel kusurlarından biridir: bu maskeleme sorununa maruz kalırlar.) Bu arada, varyans enflasyon faktörleriilk regresyonda, 2.55 ile 6.09 arasında, ortalama 4.79'dur: sadece bazı multicollinearity'lerin en tutucu kurallara göre teşhis edilmesinin sınırında; Diğer kurallara göre eşiğin çok altında (10, bir üst sınırdır).

— whuber
kaynak

5

Mükemmel cevap. Benden bir artı 1. Daha fazla vermeyi çok isterdim.

— Michael Chernick

41

Çoklu

$R^2$
Elbette, çoklu bağlantı sadece mutlak bir eşik değil. Regresyon katsayıları üzerindeki standart hatalar, fokal prediktör ile olan korelasyonlar arttıkça artacaktır.

Birden çok neredeyse önemli öngörücü

Çok kutupluluğa sahip olmasanız bile, iki veya daha fazla bireysel öngörücünün kayda değer bir değere yakın olması ve böylece toplu olarak genel bir tahminin istatistiksel önem eşiğinden geçmesi durumunda, önemsiz öngörücüler ve genel anlamlı bir model alabilirsiniz. Örneğin, 0,05 bir alfa kullanarak, p = 0,06 ve .07 değerlerine sahip iki öngörücünüz varsa, genel modelde bir p <0,05 varsa şaşırmam.

— Jeromy Anglim
kaynak

Güzel özlü cevap. Buna ek olarak, verileri bozmayı (veya bir tahminde bulunmayı) ve regresyon katsayılarında gözle görülür bir değişiklik olup olmadığını görmeyi öneririm. Örneğin, işaret değişikliklerine dikkat edin.

— Mustafa S Eisa

38

Bu, yordayıcılar arasında yüksek bir korelasyon olduğunda olur. Çok yüksek korelasyona sahip sadece iki tahmincinin olduğu bir durum düşünün. Bireysel olarak, ikisi de yanıt değişkeniyle yakından ilişkilidir. Sonuç olarak, F-testi düşük bir p-değerine sahiptir (tahmincilerin birlikte yanıt değişkenindeki değişimi açıklamada oldukça önemli olduğu söylenir). Ancak her bir tahmincinin t-testi yüksek bir p-değerine sahiptir çünkü diğer öngörücünün etkisine izin verdikten sonra açıklamak için fazla bir şey kalmamıştır.

— Rob Hyndman
kaynak

Merhaba Rob, rahatsız ettiğim için üzgünüm. Cevabınızı okudum (çünkü şu anda soru durumuyla karşı karşıya geliyorum) ancak ne demek istediğinizi "diğer öngörücünün etkisine izin verdikten sonra açıklamak için fazla bir şey kalmayacak" diyerek anlayamıyorum. Bunu bana açıklamanızı isteyebilir miyim? Çok teşekkürler.

— yue86231

1

@ yue86231 Her bir tahminci için bir p-değerimiz olmasına rağmen, her p-değerini izolasyonla yorumlayamadığımız anlamına gelir. Her yordayıcı t testi, bir değişkenin yalnızca diğer tüm değişkenler tarafından açıklanan varyans için hesap yapıldıktan sonra önemini gösterebilir . Doğrusal regresyon katsayıları ve standart hata aynı anda üretilir, tabiri caizse, ve iki tahminci birbirlerinin önemini azaltır.

— Robert Kubrick

11

$X_1 \sim N(0,1)$ $X_2 = a X_1 + \delta$ $Y = bX_1 + cX_2 + \epsilon$ $\delta$ $\epsilon$ $X_1$ $N(0,1)$

C o v (X_{2}, Y) = E [(a X_{1} + δ) (b X_{1} + c X_{2} + ϵ)] = E [(a X_{1} + δ) ({b + a c} X_{1} + c δ + ϵ)] = a (b + a c) + c

${\rm Cov}(X_2,Y) = {\rm E}[(aX_1+\delta)(bX_1+cX_2+\epsilon)]={\rm E}[(aX_1+\delta)(\{b+ac\}X_1+c\delta+\epsilon)]=a(b+ac)+c$

$a=1$ $b=2$ $c=-1$

Değişkenlerin korelasyonlu olduğunu ve gerilemenin önemsiz olduğunu daha iyi anladığınızı söylediniz; Muhtemelen çok kutupluluktan bahseden şartlandırılmış olduğunuz anlamına gelir, ancak en küçük karelerin geometrisini anlama yeteneğinizi arttırmanız gerekir.

— StasK
kaynak

10

Aranacak bir anahtar kelime "ortak olma" veya "çoklu bağlanma" olacaktır. Bu, Varyans Enflasyon Faktörleri (VIF'ler) gibi teşhisler veya "Regresyon Teşhisi: Etkili Verilerin Belirlenmesi ve Gizlilik Kaynaklarının Belirlenmesi" ders kitabında Belsley, Kuh ve Welsch tarafından tespit edilebilir. VIF'lerin anlaşılması çok daha kolaydır, ancak müdahaleyi içeren ortaklıkla başa çıkamazlar (yani, kendi başlarına veya doğrusal bir kombinasyonda neredeyse sabit olan öngörücüler) - bunun tersine, BKW teşhisi çok daha az sezgiseldir, ancak içeren ortak davranışla başa çıkabilir. kesmek.

— Stephan Kolassa
kaynak

9

Aldığınız cevap, sorduğunuz soruya göre değişir. Önceden yapılmış olan noktalara ek olarak, bireysel F değerleri parametreleri ve genel F değerleri değerleri farklı soruları cevaplar, bu nedenle farklı cevaplar alırlar. Bireysel F değerleri, özellikle model 2 veya 3 IV’ten daha fazlaysa, bu kadar önemli olmasa bile, bunun olduğunu gördüm. Tek tek p-değerlerini birleştirmenin ve anlamlı bir şey elde etmenin bir yolunu bilmiyorum, bunun bir yolu olabileceğini düşünmüştüm.

— Peter Flom
kaynak

2

(-1) Evet - orijinal poster, onun da olduğunu gördüğünü söylüyor. Asıl soru, eşdoğallıktan başka, buna neden olabilecek bazı şeylerdi ve bunun nasıl bir cevap olduğunu anlamıyorum.

— Makro

4

@Macro Aşağıya doğru biraz sert gözüküyor, çünkü bu cevapta faydalı ve geçerli bir gözlem var: Genel anlamlılık ve bireysel değişkenlik için testler "farklı soruları yanıtlayın". Kuşkusuz bu nitelikseldir, fakat artık o kadar fazla değil; ve bu cevaba bazı geçerli sezgiler ekler, tartışmaya açık bir cevap verir.

— whuber

1

Bu cevapla verilen geçerli bilgi ya da sezgi olmadığını söylemedim. Bu soruya iyi bir cevabım olsaydı şimdiye kadar cevap verirdim - zor bir soru - sadece bu cevabın soruyu kelimenin anlamıyla cevaplamadığını söylüyordum.

— Makro

9

Akılda tutulması gereken bir başka husus, bireysel katsayılar üzerindeki testlerin, diğer tüm tahmincilerin modelde olduğunu varsaydığıdır. Başka bir deyişle, her bir tahmin edici diğer bütün tahmincilerin modelinde olduğu sürece önemli değildir. Tahmininizin iki veya daha fazlası arasında bir etkileşim veya karşılıklı bağımlılık olmalıdır.

Yukarıda başka birisinin sorduğu gibi - çoklu doğrusallık eksikliğini nasıl teşhis ettiniz?

— Dave Kincaid
kaynak

4

Bunu anlamanın bir yolu @StasK'ın önerdiği gibi en küçük karelerin geometrisidir.

Bir diğeri ise, X'in diğer değişkenleri kontrol ederken Y ile ilişkili olduğunu, ancak tek başına olmadığını anlamaktır. X'in Y'deki benzersiz varyansa bağlı olduğunu söylüyorsunuz . Bu doğru. Y'deki benzersiz varyans, toplam varyanstan farklıdır. Peki diğer değişkenler hangi varyansı kaldırıyor?

Bize değişkenlerinizi söylerseniz yardımcı olur.

— Peter Flom
kaynak