AIC veya BIC'yi diğerine tercih etmek için herhangi bir sebep var mı?

AIC ve BIC, tahmini parametrelerin sayısı için cezalandırılmış modele uygun değerlendirme metotlarıdır. Anladığım kadarıyla BIC, AIC'den daha fazla ücretsiz parametre modeline ceza veriyor. Kriterlerin katılığına dayalı bir tercihin ötesinde, BIC yerine AIC'yi tercih etmenin başka nedenleri var mı?

Sorunuz AIC ve BIC'in aynı soruyu cevaplamaya çalıştıklarını ve bunun doğru olmadığını gösteriyor. AIC, bilinmeyen, yüksek boyutlu bir gerçeği en iyi şekilde tanımlayan modeli seçmeye çalışır. Bu, gerçekliğin asla düşünülen aday modeller kümesinde olmadığı anlamına gelir. Aksine, BIC aday kümesi içinde DOĞRU modelini bulmaya çalışır. Araştırmacıların yol boyunca geliştirdiği modellerden birinde gerçeğin somutlaştırıldığı varsayımını oldukça tuhaf buluyorum. Bu BIC için gerçek bir konudur.

Bununla birlikte, BIC'nin AIC'den daha iyi olduğunu söyleyen pek çok araştırmacı var ve model kurtarma simülasyonlarını bir argüman olarak kullanıyorlar. Bu simülasyonlar, A ve B modellerinden veri üretmekten ve ardından her iki veri kümesini iki modelle uyumlu hale getirmekten ibarettir. Hatalı model, üretime göre yanlış model verilere uygun olduğunda ortaya çıkar. Bu simülasyonların amacı, AIC ve BIC'in bu aşırı kıyafetleri ne kadar iyi düzelttiklerini görmek. Genellikle, sonuçlar AIC'nin çok liberal olduğunu ve hala daha basit ve gerçek bir model yerine daha karmaşık, yanlış bir modeli tercih ettiğini göstermektedir. İlk bakışta bu simülasyonlar gerçekten iyi argümanlar gibi görünmektedir, ancak onlarla ilgili problem, AIC için anlamsız olmalarıdır. Daha önce de söylediğim gibi, AIC test edilen aday modellerin hiçbirinin gerçekten doğru olduğunu düşünmüyor. AIC'e göre, tüm modeller gerçeğe yaklaĢımlardır, ve gerçeklik asla düşük bir boyutluluğa sahip olmamalıdır. Bazı aday modellerden en azından daha düşük.

Benim tavsiyem hem AIC hem de BIC kullanmak. Çoğu zaman tercih ettikleri model üzerinde hemfikir olmadıklarında, sadece rapor ettiler.

Hem AIC hem de BIC'den memnun değilseniz ve yatırım yapmak için boş zamanınız varsa, AIC ve BIC'nin sınırlarını aşan tamamen farklı bir yaklaşım olan Minimum Açıklama Uzunluğu'na (MDL) bakın. Normalleştirilmiş maksimum olabilirlik veya Fisher Bilgi yaklaşımı gibi, MDL'den kaynaklanan birkaç önlem vardır. MDL'deki sorun matematiksel olarak zorlu ve / veya hesaplama açısından yoğun olmasıdır.

Yine de, basit çözümlere bağlı kalmak istiyorsanız, model esnekliğini değerlendirmek için iyi bir yol (özellikle parametre sayısı eşit olduğunda, AIC ve BIC'yi işe yaramaz hale getirmek), uygulanması oldukça kolay olan Parametrik Önyükleme işlemini yapıyor. İşte üzerinde bir kağıda bir link .

Buradaki bazı insanlar çapraz doğrulama kullanımının savunucusudur. Ben şahsen kullandım ve buna karşı hiçbir şeyim yok, ancak onunla ilgili sorun, örnekleme-kesme kuralı (ilk bırakma, K-katlama, vb.) Arasındaki seçimin, ilkesiz bir seçim olması.

AIC ve BIC her ikisi de Maksimum Olabilirlik tahmini olarak hesaplansalar ve fazladan takma ile mücadele etmek için serbest parametreleri cezalandırmakla birlikte, bunu önemli ölçüde farklı davranışlarla sonuçlanan şekillerde yaparlar. Yöntemlerin genel olarak sunulan bir versiyonuna bakalım (sonuçlar normal dağılmış hataları ve diğer iyi davranış varsayımlarını şart koşuyor):

• AIC = -2 * ln (olabilirlik) + 2 * k,

ve

• BIC = -2 * ln (olabilirlik) + ln (N) * k,

nerede:

• k = model serbestlik dereceleri
• N = gözlem sayısı

Karşılaştırılan gruptaki en iyi model, her iki durumda da bu puanları en aza indiren modeldir. Açıkçası, AIC doğrudan örneklemenin büyüklüğüne bağlı değildir. Üstelik, genel olarak konuşursak, AIC, uyuşma tehlikesini de beraberinde getirirken, BIC, serbest parametreleri (AIC'de 2 * k; BIC'de ln (N) * k) cezalandırmalarından ötürü, maruz kalabileceği tehlikeyi sunmaktadır. Diyakronik olarak, veriler tanıtıldıkça ve puanlar yeniden hesaplanırken, nispeten düşük N'de (7 ve daha az) BIC, AIC'den daha serbest toleranslıdır, ancak daha yüksek N'de daha az toleranslıdır (N'nin doğal logalının 2'yi aştığı gibi).

Ek olarak, AIC bilinmeyen veri üretme sürecine en yakın yaklaşan modeli bulmayı hedeflemektedir (tahmini tahmini KL sapmalarını en aza indirerek ). Bu nedenle, olasılıkla gerçek modele (başarısız olanın değerlendirilen grupta var olduğu varsayılırsa) yakınsamada başarısız olduğu, BIC'nin N'nin sonsuzluğa eğilimi gösterdiği gibi yakınsak olduğu düşünülür.

Bu nedenle, tercih edilecek birçok metodolojik soruda olduğu gibi, ne yapmaya çalıştığınıza, başka hangi metotların mevcut olduğuna ve belirtilen özelliklerin herhangi birinin (yakınsaklık, serbest parametreler için göreceli tolerans, beklenen KL ayrışmasını en aza indirgemek) olup olmamasına bağlıdır. ), amaçlarınızla konuşun.

Benim hızlı açıklamam

• AIC tahmin için en iyisidir çünkü çapraz doğrulamaya asimptotik olarak eşdeğerdir.
• BIC, altta yatan veri üretme sürecinin tutarlı bir şekilde tahmin edilmesini sağladığı için açıklama için en iyisidir.

Tecrübelerime göre, BIC ciddi bir içgüdülendirme ile sonuçlanır ve AIC genellikle öngörücü ayrımcılığı en üst düzeye çıkarmak olduğunda iyi performans gösterir.

Brian Ripley tarafından AIC ve BIC'in bilgilendirici ve erişilebilir bir "türevi" burada bulunabilir: http://www.stats.ox.ac.uk/~ripley/Nelder80.pdf

Ripley, matematiksel sonuçların ardındaki varsayımlar hakkında bazı açıklamalar yapar. Diğer cevapların bazılarının gösterdiğinin aksine, Ripley, AIC'nin modelin doğru olduğunu varsaymaya dayandığını vurgulamaktadır. Model doğru değilse, genel bir hesaplama "parametre sayısının" daha karmaşık bir miktarla değiştirilmesi gerektiğini ortaya çıkaracaktır. Bazı referanslar Ripley slaytlarında verilmiştir. Bununla birlikte, doğrusal regresyon için (kesin olarak bilinen bir varyansla konuşmak), genel olarak daha karmaşık olan miktarın, parametre sayısına eşit olmasını basitleştirdiğine dikkat edin.

Gerçekten de, tek fark, BIC'nin, nesne sayısını (numuneleri) hesaba katacak şekilde uzatılmış AIC olmasıdır. Her ikisinin de oldukça zayıf olmasına rağmen (örneğin çapraz doğrulama ile karşılaştırıldığında), AIC kullanmak daha iyi, kısaltmaya aşina olacağından daha iyidir - aslında BIC’in göreceği bir makale veya program görmedim kullanılmalı (yine de bu tür kriterlerin işe yaramadığı sorunlara taraflı olduğumu itiraf ediyorum).

Düzenleme: AIC ve BIC, iki önemli varsayımla sağlanan çapraz doğrulamaya eşdeğerdir - tanımlandıklarında, model maksimum olasılık olduğunda ve yalnızca eğitim verilerinde model performansı ile ilgileniyorsanız. Bazı verilerin bir tür fikir birliği halinde çökmesi durumunda, bunlar tamamdır.
Bazı gerçek dünya problemleri için bir tahmin makinesi yapılması durumunda, birincisi yanlıştır, çünkü eğitim setiniz uğraştığınız problemle ilgili sadece bir bilgi notunu gösterir, bu nedenle modelinizi optimize edemezsiniz; ikincisi yanlıştır, çünkü modelinizin, eğitim setinin temsilcisi olmasını bile bekleyemeyeceğiniz yeni verileri işlemesini beklersiniz. Ve bu amaçla CV icat edildi; Bağımsız bir veriyle karşılaştığında modelin davranışını simüle etmek. Model seçimi durumunda, CV size sadece yaklaşık kaliteyi değil, aynı zamanda kalite yaklaşım dağılımını da verir, bu nedenle "Yeni veri ne olursa olsun, ne olacağını bilemiyorum, bilmiyorum" diyebileceği büyük bir avantaja sahiptir. daha iyi."

Bahsettiğiniz gibi, AIC ve BIC, daha fazla regresör değişkenine sahip modelleri cezalandırma yöntemleridir. Modeldeki parametre sayısının bir işlevi olan bu yöntemlerde bir ceza işlevi kullanılır.

• AIC uygulanırken, ceza işlevi z (p) = 2 p'dir .

• BIC uygulanırken, ceza işlevi, önceki bilgileri içeren cezanın yorumlanmasına dayanan z (p) = p ln ( n ) 'dir (dolayısıyla Bayesian Information Criterion adı).

Ne zaman n büyük iki model oldukça farklı sonuçlar üretecektir. O zaman BIC karmaşık modeller için çok daha büyük bir ceza uygular ve bu nedenle AIC'den daha basit modellere yol açacaktır. Ancak, BIC’de Wikipedia’da belirtildiği gibi :

Birçok uygulamada ..., BIC'nin basit olasılıkla maksimum olasılık seçimine düştüğü, çünkü parametrelerin ilgili modeller için eşit olduğu unutulmamalıdır.

Söyleyebileceğim kadarıyla AIC ve BIC arasında pek bir fark yoktur. Her ikisi de modelleri verimli bir şekilde karşılaştırmak için yapabilecekleri matematiksel olarak uygun yaklaşımlardır . Size farklı "en iyi" modeller verirlerse, bu muhtemelen yüksek model belirsizliğine sahip olduğunuz anlamına gelir; bu, AIC veya BIC kullanmanız gerekip gerekmediğinden endişelenmeniz daha önemlidir. Şahsen BIC'den daha çok hoşlanıyorum çünkü bir modelden daha fazla (daha az) bir modelin parametrelerine uyacak daha fazla (daha az) veri olup olmadığını - bir öğrencisi daha fazla (daha az) olması durumunda daha yüksek (daha düşük) bir performans standardı isteyen bir öğretmen gibi ) konu hakkında bilgi edinmek için zaman. Bana göre bu sadece sezgisel bir şey yapmak gibi görünüyor. Fakat o zaman eminim ki AIC için de aynı şekilde sezgisel ve zorlayıcı argümanlar var, basit şekli de veriliyor.

Şimdi bir yaklaşımda bulunacağınız zaman, bu yaklaşımların artık çöp olduğu durumlarda mutlaka bir takım koşullar olacaktır. Bu, orijinal yaklaşımı kötü yapan belirli koşulları hesaba katan birçok "ayar" (AICc) bulunduğu AIC için kesinlikle görülebilir. Bu, BIC için de mevcuttur, çünkü Zellner g-öncelerinin karışımlarına Tamamen Laplace Yaklaşımları gibi diğer daha kesin (ancak yine de etkili) yöntemler vardır (BIC, integraller için Laplace yaklaşım yöntemine bir yaklaşımdır).

Her ikisinin de boktan olduğu bir yer, herhangi bir modelin içindeki parametreler hakkında önemli bir ön bilginiz olduğunda. AIC ve BIC, parametrelerden kısmen bilinen modelleri, verilerden hesaplanması gereken parametreleri gerektiren modellere kıyasla gereksiz yere cezalandırır.

$P(D|M,A)$$P(M|D,A)$$M$$M$$A$

Ve sonra aynı olasılık modellerini (aynı parametreler, aynı veriler, aynı yaklaşımlar, vb.) Atamaya devam edin, aynı BIC değerleri setini alacağım. "M" mantıksal harfine, "gerçek model" ("gerçek dinin" yankıları) ile ilgili alakasız sorulara bir tür benzersiz anlam ekleyerek elde edilir. M'yi "tanımlayan" tek şey, hesaplamalarında onu kullanan matematiksel denklemlerdir - ve bu neredeyse hiç bir ve sadece bir tanım değildir. Eşit derecede M hakkında bir öngörü önerisinde bulunabilirdim ("bu model en iyi tahminleri verecek"). Kişisel olarak bunun herhangi bir olasılığın nasıl değişeceğini ve dolayısıyla BIC'in ne kadar iyi ya da kötü olacağını göremiyorum (bu konuda AIC - AIC farklı bir türetmeyi temel almasına rağmen).

Ve ayrıca, ifadede yanlış olan şey Eğer gerçek model kümesindeyim, o zaman B modelinin% 57 olması ihtimali vardır . Bana göre yeterince makul görünüyor, ya da daha "yumuşak" versiyonuna gidebilirseniz, B modelinin düşünülen kümenin en iyisi olma ihtimalinin% 57 olması ihtimali var.

Son bir yorum: AIC / BIC hakkında, onları tanıyan insanlar kadar çok fikir bulacağını düşünüyorum.

AIC nadiren kullanılmalıdır, çünkü asimptotik olarak gerçekten geçerlidir. AICc ( sonlu örneklem büyüklüğü için bir c ayarlı AIC) kullanmak neredeyse her zaman daha iyidir . AIC aşırı parametreleştirme eğilimindedir: bu sorun AICc ile büyük ölçüde azalır. AICc kullanmanın temel istisnası, temel dağılımların ağır leptokurtik olmalarıdır. Bununla ilgili daha fazla bilgi için Burnham & Anderson'dan Model Seçimi kitabına bakın .

AIC ve BIC, modellerin karşılaştırılmasında bilgi kriteridir. Her biri model uyumunu ve parlamentoyu dengelemeye çalışır ve her biri parametre sayısı için farklı cezalar uygular.

KIC'i hiç duymadım.

Çok kısaca:

• $n$
• $P(D|M,A) (D=Data, M=model, A=assumptions)$$P(M|D,A)$$n$$n$$k=n[1−1/(log(n)−1)]$$n=$örneklem büyüklüğü (Shao 1997). BIC'in, marjinal ihtimalin farklı yaklaşımlarını yapmak veya farklı öncelikler almakla ortaya çıkan birçok farklı versiyonu vardır. Örneğin, orijinal BIC'deki tüm olası modellerin önceki bir üniformasını kullanmak yerine, EBIC sabit büyüklükteki modellerin önceki bir üniformasını kullanır ( Chen & Chen 2008 ), BICq ise dahil edilecek her parametrenin önceki olasılığını belirten bir Bernouilli dağılımı kullanır .

$lambda = 2$$lambda=log(n)$Bir hedefi optimize etmenin (LASSO veya elastik net regresyon), başka bir amaca (örneğin çapraz doğrulama tahmin hatasını, AIC veya BIC'yi en aza indirgeyen) başka bir amaca dayanarak düzenlileştirme parametrelerinin ayarlanması takip edilir.

$n −1$$n$

LOOCV hatasının ayrıca , herhangi bir çapraz onaylama yapmak zorunda kalmadan , artıklardan ve şapka matrisinin köşegeninden analitik olarak hesaplanabileceğini unutmayın . Bu, her zaman AIC'ye, LOOCV hatasının asimptotik bir yaklaşımı olarak bir alternatif olacaktır.

Referanslar

Stone M. (1977) Çapraz doğrulama ve Akaike kriterine göre model seçiminin asimptotik bir denkliği. Kraliyet İstatistik Kurumu Serisi B. B. 39, 44–7.

Shao J. (1997) Doğrusal model seçimi için asimptotik bir teori. Statistica Sinica 7, 221-242.