Neden AIC kullanarak model seçimi uygulamak, değişkenler için bana anlamlı olmayan p değerleri veriyor?

AIC ile ilgili bazı sorularım var ve umarım bana yardımcı olabilirsiniz. Verilerimdeki AIC'ye dayalı olarak model seçimi (geri veya ileri) uyguladım. Seçilen değişkenlerin bazıları p değeri> 0,05 ile sonuçlandı. İnsanların p-değeri yerine AIC'ye dayalı modeller seçmemiz gerektiğini söylediklerini biliyorum, bu yüzden AIC ve p-değeri iki fark kavramıdır. Birisi bana farkın ne olduğunu söyleyebilir mi? Şimdiye kadar anladığım şey şudur:

1. AIC'yi kullanarak geriye doğru seçim için, 3 değişkenimiz (var1, var2, var3) olduğunu ve bu modelin AIC'sinin AIC * olduğunu varsayalım. Bu üç değişkenten herhangi birini hariç tutmak, AIC * 'den önemli ölçüde düşük bir AIC ile sonuçlanmazsa (df = 1 ile ki-kare dağılımı açısından), bu üç değişkenin nihai sonuç olduğunu söyleyebiliriz.

2. Üç değişkenli bir modelde bir değişken (örn. Var1) için anlamlı bir p değeri, bu değişkenin standartlaştırılmış etki büyüklüğünün 0'dan önemli ölçüde farklı olduğu anlamına gelir (Wald veya t-testine göre).

Bu iki yöntem arasındaki temel fark nedir? En iyi modelimde (AIC aracılığıyla elde edilen) anlamlı olmayan p değerlerine sahip bazı değişkenler varsa nasıl yorumlayabilirim?

AIC ve varyantları üzerindeki varyasyonlara, sonra her regresörün p-değerlerine daha yakındır . Daha kesin olarak, günlük olasılığının cezalandırılmış versiyonlarıdır.$R^2$

Ki kare kullanarak AIC farklılıklarını test etmek istemezsiniz. Ki-kare (model iç içe yerleştirilmişse) kullanarak günlük olasılığı farklarını test edebilirsiniz. AIC için düşük daha iyidir ( yine de çoğu uygulamada). Başka ayar gerekmez.

Mümkünse, otomatik model seçim yöntemlerinden gerçekten kaçınmak istersiniz. Birini kullanmanız gerekiyorsa, LASSO veya LAR'ı deneyin.

Aslında tek seferde tek değişkenli kademeli seçim için AIC'nin kullanılması (en azından asimptotik olarak), yaklaşık% 15.7'lik p değerleri için bir kesme kullanılarak kademeli seçime eşdeğerdir. (Bunu göstermek oldukça basittir - daha büyük model için AIC, log olasılığını 2 ekstra parametresi için cezadan daha fazla azaltırsa daha küçük olacaktır; bu, bir Wald ki-karesi, 2'den fazla bir kuyruk alanından daha küçük ...% 15.7)$\chi^2_1$

Bu nedenle, bazen p-değerlerinden daha yüksek p-değerlerine sahip değişkenler içerdiği p-değerleri için daha küçük bir kesme kullanarak karşılaştırmanız şaşırtıcı değildir.

P-değerlerinin veya AIC'nin aşamalı model seçimi için tasarlanmadığını, aslında her ikisinin altında yatan varsayımların (ancak farklı varsayımların) aşamalı bir regresyondaki ilk adımdan sonra ihlal edildiğini unutmayın. @PeterFlom'un belirttiği gibi, otomatik model seçimine ihtiyacınız olduğunu düşünüyorsanız LASSO ve / veya LAR daha iyi alternatiflerdir. Bu yöntemler şans eseri büyük olan tahminleri (kademeli olarak şans için ödüllendirir) 0'a doğru çeker ve bu nedenle adım adımdan daha az önyargılı olma eğilimindedir (ve kalan sapma daha muhafazakar olma eğilimindedir).

AIC ile genellikle gözden kaçan büyük bir sorun, AIC değerlerindeki farkın boyutudur, "düşük daha iyidir" i görmek ve orada durmak yaygındır (ve otomatik işlemler bunu vurgulamaktadır). 2 modeli karşılaştırıyorsanız ve çok farklı AIC değerlerine sahipseniz, daha düşük AIC'ye sahip model için açık bir tercih vardır, ancak çoğu zaman birbirine yakın AIC değerlerine sahip 2 (veya daha fazla) modelimiz olacaktır. yalnızca en düşük AIC değerine sahip modeli kullanan bu durum değerli bilgileri kaçırır (ve bu modelde olan veya olmayan, ancak diğer benzer modellerde farklılık gösteren terimler hakkında bir şeyler çıkarmak anlamsız veya daha kötü olacaktır). Verilerin dışından gelen bilgiler (yordayıcı değişkenler kümesinin toplanması ne kadar zor / pahalı olduğu gibi), biraz daha yüksek AIC'ye sahip bir modeli, kalite kaybı olmadan kullanmayı daha cazip hale getirebilir. Başka bir yaklaşım, benzer modellerin ağırlıklı bir ortalamasını kullanmaktır (bu muhtemelen sırt regresyonu veya kement gibi cezalandırılmış yöntemlere benzer nihai tahminlerle sonuçlanacaktır, ancak modele giden düşünce süreci anlamaya yardımcı olabilir).

AIC ile yaşadığım deneyim, değişkenler anlamlı değilse, ancak yine de en küçük AIC'ye sahip modelde görünüyorsa, bunların olası çelişkiler olduğu ortaya çıkıyor.

Karıştırmayı kontrol etmenizi öneririm. Bu tür önemli olmayan değişkenleri kaldırmak, kalan tahmini katsayıların büyüklüğünü% 25'ten fazla değiştirmelidir.

En iyi model seçiminin MuMIn paketini kullanmak olduğunu düşünüyorum. Bu bir sonraki sonuç olacaktır ve en düşük AIC değerlerini aramanıza gerek yoktur. Misal:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]