Basit doğrusal regresyonda ANOVA F testinin ardındaki mantık

Basit Doğrusal Regresyon Analizinde ANOVA F-testinin ardındaki mantığı anlamaya çalışıyorum. Benim sorum şu. F değeri, yani MSR/MSEbüyük olduğunda, modeli önemli olarak kabul ederiz. Bunun arkasındaki mantık nedir?

En basit durumda, sadece bir öngorücunun (basit regresyon) olduğunda, demek , dahil olmadığını söyler testinde gösterilebilir gözlenen varyansın daha büyük bir kısmını açıklamak yapar boş modeli (sadece kesişim noktası) ile karşılaştırıldığında. Buradaki fikir, eklenen açıklanan varyansın (toplam varyans, TSS, eksi kalıntı varyans, RSS) "anlamlı miktar" olarak kabul edilebilecek kadar büyük olup olmadığını test etmektir. Burada bir yordayıcı veya açıklayıcı değişkenli bir modeli sadece "gürültü" olan bir temel ile karşılaştırıyoruz (büyük ortalama dışında hiçbir şey).$X_1$$F$$X_1$$Y$

Benzer şekilde, bir istatistiğini çoklu regresyon ayarında hesaplayabilirsiniz : Bu durumda, modelde yer alan tüm öngörücülerin testine karşılık gelir, bu da HT çerçevesi altında herhangi birinin yanıtı tahmin etmede yararlı olup olmadığını merak ettiğimiz anlamına gelir. değişken. Tüm model için testinin önemli olduğu durumlarla karşılaşmanızın nedeni budur , oysa her bir regresyon katsayısıyla ilişkili veya testlerinden bazıları değildir.$F$$F$$t$$z$

istatistik görünüyor gibi$F$

burada model parametre sayısı ve gözlem sayısıdır. Bu miktar kritik veya değeri için bir dağılımına atıfta bulunulmalıdır . Basit regresyon modeli için de geçerlidir ve klasik ANOVA çerçevesi ile bazı benzerlikler taşımaktadır.$p$$n$$F_{p-1,n-p}$$p$

Kenar notu. Birden fazla öngörücünüz olduğunda, bu öngörücülerin yalnızca bir alt kümesini düşünmenin model uyum kalitesini "düşürüp düşürmediğini" merak edebilirsiniz. Bu, iç içe modelleri düşündüğümüz bir duruma karşılık gelir . Bu, belirli bir regresyon modelini null bir modelle karşılaştırdığımız yukarıdaki durumlarla tamamen aynıdır (hiçbir öngörücü dahil değildir). Açıklanan varyanstaki azalmayı değerlendirmek için, her iki modelden de kalan kareler toplamını (RSS) karşılaştırabiliriz (yani, modelde mevcut öngörücülerin etkisini hesaba kattığınızda açıklanamayan). Let ve baz model ifade ile ($\mathcal{M}_0$$\mathcal{M}_1$$p$parametreler) ve ilave bir prediktörü (bir model, parametreler), daha sonra ise olduğu küçük, küçük modelin büyük model kadar iyi performans gösterdiğini düşünürüz. Kullanılacak iyi bir istatistik, bu tür SS’lerin Serbestlik derecelerine göre ağırlıklandırılmış ( pay için ve payda için ). Daha önce de belirtildiği gibi, bu miktarın ve serbestlik derecelerine sahip bir (veya Fisher-Snedecor) dağılımını izlediği gösterilebilir . Gözlenen$q=p+1$$\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0}$$(\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0})/\text{RSS}_{\mathcal{M}_0}$$p-q$$n-p$$F$$p-q$$n-p$$F$belirli bir (tipik olarak ) karşılık gelen miktarından daha büyükse , daha büyük modelin "daha iyi bir iş" yaptığını söyleyebiliriz. (Bu hiçbir şekilde modelin pratik açıdan doğru olduğu anlamına gelmez!)$F$$\alpha$$\alpha=0.05$

Yukarıdaki fikrin genelleştirilmesi, olasılık oranı testidir .

R kullanıyorsanız, yukarıdaki gibi kavramlarla oynayabilirsiniz:

df <- transform(X <- as.data.frame(replicate(2, rnorm(100))), 
                                   y = V1+V2+rnorm(100))
## simple regression
anova(lm(y ~ V1, df))         # "ANOVA view"
summary(lm(y ~ V1, df))       # "Regression view"
## multiple regression
summary(lm0 <- lm(y ~ ., df))
lm1 <- update(lm0, . ~ . -V2) # reduced model
anova(lm1, lm0)               # test of V2