AIC değerinin yorumlanması

Lojistik modeller için gördüğüm tipik AIC değerleri binlerce, en az yüzlerce. örneğin http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ adresinde AIC 727,39'dur.

Her zaman AIC'nin sadece modelleri karşılaştırmak için kullanılması gerektiği söylenirken, belirli bir AIC değerinin ne anlama geldiğini anlamak istedim. Formüle göre $AIC= -2 \log(L)+ 2K$

Burada, L = MLE tahmincisinden maksimum olabilirlik, K parametre sayısıdır

Yukarıdaki örnekte, K = 8

yani, basit aritmatik ile:

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

Benim anlayışım doğruysa, bu MLE'nin veriye uymasıyla tanımlanan fonksiyonun olasılığıdır. Bu gerçekten çok düşük görünüyor.

Burada ne eksik?

Orada "tipik" veya doğru olasılığına diye böyle bir şey bir model için. Aynı şey AIC için de geçerlidir , bu bir dizi parametre için cezalandırılan negatif log olasılığıdır. Düşük AIC değeri "daha iyi" bir model önerir, ancak model uyumunun göreceli bir ölçüsüdür. Model seçimi için kullanılır, yani aynı veri kümesinde tahmin edilen farklı modelleri karşılaştırmanızı sağlar .

GEP Box'ı "tüm modeller yanlış, ancak bazıları yararlı" diyerek hatırlayın , verilerinize mükemmel bir şekilde uyan bir model bulmakla ilgilenmezsiniz, çünkü bu imkansızdır ve çoğu durumda bu model çok zayıf, aşırı donanımlı bir model olacaktır. . Bunun yerine, alabileceğiniz en iyiyi, en faydalı olanı arıyorsunuz. AIC'nin arkasındaki genel fikir, Occam'ın ustura argümanıyla bir şekilde tutarlı olan, daha az sayıda parametreye sahip modelin daha iyi olduğu, basit bir modeli karmaşık bir modele tercih ettiğidir .

Aşağıdaki belgeleri kontrol edebilirsiniz:

Anderson, D. ve Burnham, K. (2006). AIC mitleri ve yanlış anlamalar.

Burnham, KP ve Anderson, DR (2004). Çok Modlu Çıkarım. Model Seçiminde AIC ve BIC'yi anlama. Sosyolojik Yöntemler ve Araştırma, 33 (2), 261-304.

ve bu iplikler:

"Olasılık" ve "olasılık" arasındaki fark nedir?

AIC veya BIC'yi diğerine tercih etmek için herhangi bir neden var mı?

AIC genelleştirilmiş ("yalancı") ile yüksek oranda ilişkilidir . Her ne kadar bu geleneksel olmasa da olasılık oranı ölçeğinde AIC belirtmeyi seviyorum , yani, yeniden ifade AIC = df Genelleştirilmiş önlemlerinden biri . Modelin yüksek düzeyde ayrımcılık olarak kabul edilmesi için tam olarak ne kadar büyük olması gerektiğini bilmemize rağmen , en azından birimsizdir.$R^2$$\chi^2$$\chi^{2} - 2\times$$R^2$$1 - \exp(-\chi^{2} / n)$$R^2$$R^2$

Bu gerçekten çok düşük görünüyor. Burada ne eksik?

Mantık olasılığının kullanımını içeren AIC gibi nicelikler , sadece bu tür diğer niceliklere göre anlamlıdır . Olabilirlik işlevinin yalnızca bir ölçeklendirme sabitine kadar tanımlandığını unutmayın, böylece isteğe bağlı olarak yukarı veya aşağı ölçeklendirilebilir. Sonuç olarak, log olasılığı sadece bir konum sabitine kadar tanımlanır ve isteğe bağlı olarak yukarı veya aşağı kaydırılabilir. Bu, AIC için de geçerlidir, çünkü bu miktar, parametrelerin sayısına bir ceza ile kaydırılan sadece log olabilirliği. AIC'nin sadece modelleri karşılaştırmak için kullanılması gerektiği söylenmesinin nedeni budur.

Bilgisayar rutinlerinde, olasılık fonksiyonu genellikle gereksiz sabitleri kaldırmadan doğrudan örnekleme yoğunluğundan tanımlanır, bu durumda ölçeklendirme sorunu bir faktör olmayabilir. Gelen R Blogcular sonrası bağlanmak vardı veri lojistik regresyon kullanılmıştır point. Verdiğiniz sayılardaki günlük olasılığı:$n=800$

Bu nedenle, veri noktası başına ortalama günlük olabilirliği ; bu, tek bir veri noktası için olasılık değerine karşılık gelir . Bu özellikle düşük değildir ve herhangi bir alarma neden olmamalıdır.$\hat{\ell}/n = -0.4449375$$0.6408643$

Olasılığını geri hesaplarsanız, R tarafından bildirilen AIC'yi kullanarak, gülünç düşük olasılıklara sahip olduğunuzu doğru bir şekilde işaret ettiniz. Bunun nedeni, R (AICrep olarak adlandırın) tarafından bildirilen AIC'nin değerinin gerçek AIC (AICtrue) olmamasıdır. AICrep ve AICtrue, ölçülen verilere bağlı olan ancak seçilen modelden bağımsız bir sabit ile farklılık gösterir. Bu nedenle AICrep'ten geri hesaplanan bir olasılık yanlış olacaktır. Öyle farklar en iyi modeli seçerken yardımcı olur farklı modeller aynı veri sığdırmak için kullanılır, AICS, içinde,.