AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC - Bunları birbiri yerine kullanabilir miyim?

Açık Onun 34 PRNN o Brian Ripley yorumlarla " 'Bir Bilgi Kriteri' olarak AIC Akaike (1974) tarafından adlandırılmıştır yaygın bir Akaike açılımı inanıyordu görünüyor olsa da". Aslında, AIC istatistiklerini tanıtırken, Akaike (1974, s.719)

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

Bu alıntıyı 1974'te yapılan bir tahmin olarak değerlendirdiğimizde, sadece dört yılda iki BIC istatistiğinin (Bayesian IC) Akaike (1977, 1978) ve Schwarz (1978) tarafından önerildiğine dikkat etmek ilginçtir. Spiegelhalter ve ark. (2002), DIC (Deviance IC) ile ortaya çıkması için çok daha uzun zaman aldı. CIC kriterinin ortaya çıkışı Akaike (1974) tarafından tahmin edilmese de, asla düşünülmediğine inanmak saf olacaktır. 2005 yılında Carlos C. Rodriguez tarafından önerilmiştir. (R. Tibshirani ve K. Knight'ın CIC'in (Kovaryans Enflasyon Kriterinin) farklı bir şey olduğuna dikkat edin.)

EIC'nin (Ampirical IC) 2003 yılında Monash Üniversitesi halkı tarafından önerildiğini biliyordum. Odaklanmış Bilgi Kriterini (FIC) yeni keşfettim. Bazı kitaplar Hannan ve Quinn IC’ye HIC adını verir, bakınız örneğin bu . GIC (Genelleştirilmiş IC) olması gerektiğini biliyorum ve Bilgi Yatırımlama Kriterini (IIC) yeni keşfettim. NIC, TIC ve daha fazlası var.

Sanırım alfabenin geri kalanını da kapsayabilirim, bu yüzden AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC, ... dizilerinin nerede durduğunu veya alfabenin hangi harflerinin bulunduğunu sormuyorum. en az iki kez kullanılmamış veya kullanılmamış (örneğin, EIC'deki E, Genişletilmiş veya Ampirik anlamına gelebilir). Sorum daha basit ve umarım pratikte daha faydalı olur. Bu istatistikleri, altında türetildikleri varsayımları, uygulanabilecekleri belirli durumları vb. Göz ardı ederek değiştirebilir miyim?

Bu soru kısmen Burnham ve Anderson (2001) tarafından yazılmıştır:

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

Hyndman ve arkadaşlarının 7. bölümünün üstel yumuşatma ile ilgili monografisi, beş alternatif IC'nin (AIC, BIC, AICc, HQIC, LEIC) en iyi öngörülen modelin seçiminde ne kadar iyi performans gösterdiğine bakarken BA tavsiyesine uyuyor gibi görünmektedir. AIC'nin daha sık daha iyi bir alternatif olduğu sonucuna varmak için MASE olarak adlandırılan yeni bir hata ölçüsü ile (HQIC sadece bir kez en iyi model seçici olarak rapor edildi.)

Tüm ICc'leri, eşdeğer varsayım kümeleri altında bir ve aynı soruyu cevaplamak için türetilmişçesine dolaylı olarak ele alan araştırma egzersizlerinin faydalı amacının ne olduğundan emin değilim. Özellikle, sabit bir üslup bağlamında kullanarak bir otoregresyonun (Hannan ve Quinn'in ergodik durağan diziler için elde ettiği) sırasını belirlemek için tutarlı kriterin öngörücü performansını araştırmanın ne kadar yararlı olduğundan emin değilim. monografilerde Hyndman ve diğ. Burada bir şey mi eksik?

Referanslar:

Akaike, H. (1974), İstatistiksel model tanımlamasına yeni bir bakış, IEEE Otomatik Kontrol İşlemleri 19 (6), 716-723.

Akaike, H. (1977), Entropi maksimizasyon prensibi üzerine, PR Krishnaiah, ed., İstatistik uygulamaları , Vol. 27, Amsterdam: Kuzey Hollanda, s. 27-41.

Akaike, H. (1978), Minimum AIC prosedürünün bir Bayesçi analizi , İstatistiksel Matematik Enstitüsü Annals 30 (1), 9-14.

Burnham, KP & Anderson, DR (2001) Ekolojik çalışmalarda güçlü çıkarım için temel olarak Kullback – Leibler bilgisi, Wildlife Research 28, 111-119

Hyndman, RJ, Koehler, AB, Ord, JK & Snyder, RD Üstel yumuşatma ile tahmin: durum uzayı yaklaşımı. New York: Springer, 2008

Ripley, BD Örüntü Tanıma ve Yapay Sinir Ağları . Cambridge: Cambridge Üniversitesi Yayınları, 1996

Schwarz, G. (1978), Bir modelin boyutunu tahmin etme , İstatistiklerin Verilmesi 6 (2), 461-464.

Spiegelhalter, DJ, Best, NG, Carlin, BP ve van der Linde, A. (2002), Bayesyen model karmaşıklığı ölçüleri ve t (tartışma ile), Kraliyet İstatistik Kurumu Dergisi. Seri B (İstatistiksel Metodoloji) 64 (4), 583-639.

Anladığım kadarıyla AIC, DIC ve WAIC de aynı şeyi tahmin ediyorlar: bir modelle ilişkilendirilen beklenen örnek dışı sapma. Bu aynı zamanda, çapraz onaylamanın tahmin ettiği şeydir. Gelman ve diğ. (2013) bunu açıkça söylüyorlar:

Örnek dışı tahmin hatasını tahmin etmenin doğal bir yolu çapraz onaylamadır (Bayesian perspektifi için bkz. Vehtari ve Lampinen, 2002), ancak araştırmacılar her zaman alternatif ölçümler aramışlardır, çünkü çapraz onaylama tekrarlanan modellere uygundur ve seyrek verilerle sorun yaşamak. Tek başına pratik nedenlerden dolayı, AIC (Akaike, 1973), DIC (Spiegelhalter, En İyi, Carlin ve van der Linde, 2002, van der Linde, 2005) ve daha yakın zamanda WAIC gibi basit önyargı düzeltmelerine yer kalmıştır. (Watanabe, 2010) ve bunların hepsi, farklı çapraz onaylama versiyonlarına yaklaşım olarak görülebilir (Stone, 1977).

BIC, minimum açıklama uzunluğu ile ilgili olan farklı bir şey tahmin etmektedir. Gelman ve diğ. söyle:

BIC ve değişkenleri, burada öngörülen tahminlere göre değil, modelin altında kullanılabilecek modelin p (y) marjinal olasılık yoğunluğuna yaklaşma hedefi ile motive edilmekte olduğu düşünülen diğer bilgi kriterlerinden farklıdır. ayrık model karşılaştırma ortamında göreceli arka olasılıkları tahmin eder.

Ne yazık ki listelediğiniz diğer bilgi kriterleri hakkında hiçbir şey bilmiyorum.

AIC benzeri bilgi kriterlerini birbirinin yerine kullanabilir misiniz? Görüşler farklılık gösterebilir, ancak AIC, DIC, WAIC ve çapraz onaylama işlemlerinin hepsinin aynı şeyi tahmin ettiği göz önüne alındığında, evet, bunlar daha fazla veya daha az birbiriyle değiştirilebilir. BIC yukarıda belirtildiği gibi farklıdır. Diğerlerini bilmiyorum.

Neden birden fazla var?

• AIC , maksimum olasılık tahmininde ve düz bir önceliğiniz olduğunda işe yarar, ancak diğer senaryolar hakkında söylenecek hiçbir şey yok. Ceza, parametre sayısı veri noktası sayısına yaklaştığında da çok küçüktür. AICc bunun için fazla düzeltir; bu, bakış açınıza bağlı olarak iyi veya kötü olabilir.

• DIC , modelin bölümleri öncelikler tarafından aşırı derecede kısıtlanırsa daha küçük bir ceza kullanır (örneğin, varyans bileşenlerinin tahmin edildiği bazı çok seviyeli modellerde). Bu iyi, çünkü çok kısıtlı olan parametreler gerçekten tam bir serbestlik derecesi oluşturmuyor. Ne yazık ki, genellikle DIC için kullanılan formüller, posteriorun esasen Gaussian olduğunu varsaymaktadır (yani, ortalaması ile iyi tanımlanmıştır) ve bu nedenle, bazı durumlarda garip sonuçlar (örneğin, negatif cezalar) alınabilmektedir.

• WAIC , tüm arka yoğunluğu DIC'den daha etkili kullanır, bu nedenle Gelman ve ark. Bazı durumlarda hesaplanması bir ağrı olsa da onu tercih edin.

• Çapraz doğrulama , belirli bir formüle dayanmaz, ancak birçok model için hesaplamalı olarak yasaklayıcı olabilir.

Benim görüşüme göre, AIC benzeri kriterlerden hangisinin kullanılacağına ilişkin karar, birinin diğerinden daha iyi olacağına dair matematiksel bir kanıt yerine tamamen bu tür pratik konulara dayanmaktadır.

Kaynaklar :

Gelman ve diğ. Bayesian modelleri için öngörücü bilgi kriterlerini anlama. Http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdf adresinden edinilebilir.

"Değiştirilebilir" bir kelime için çok güçlü. Hepsi modelleri karşılaştırmak ve "en iyi" bir model bulmak isteyen kriterlerdir, ancak her biri farklı "en iyi" yi tanımlar ve farklı modelleri "en iyi" olarak tanımlayabilir.

“Referandum öner”. Sadece oy vermek için! ;-) CAIC'yi (Bozdoğan, 1987) ve BIC'yi sadece kişisel pratiğimden çok sevdim, çünkü bu kriterler karmaşıklık için ciddi bir ceza veriyor, çünkü daha fazla kaygı duyduk, ancak her zaman iyi modeller listesini gösterdim - 4-6 arası -8 (2 yerine). Parametreleri inceleme adımında (çünkü “aday modellerin iyi bir şekilde gerilmesi”), MM ortalaması (B&A) genellikle hemen hemen hiçbir şey değişmez. Hem klasik AIC hem de AICc (B&& tarafından popüler olan H&T) 'yi biraz kuşkulanıyorum, çünkü genellikle "kalın bir krema tabakası" veriyorlar. ;-)