Farklı AIC tanımları

12

Wikipedia'da Akaike'nin Bilgi Kriteri'nin (AIC) olarak tanımlanması söz konusudur , burada parametre sayısıdır ve modelin log olasılığıdır. $AIC = 2k -2 \log L$ $k$ $\log L$

Ancak Ekonometriklerimiz saygın bir üniversitede olduğunu belirtmektedir . Burada , bir ARMA modelindeki hatalar için tahmini varyans ve , zaman serisi veri kümesindeki gözlem sayısıdır. $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ $\hat{\sigma}^2$ $T$

İkinci tanım birinciyle eşdeğer, ancak ARMA modelleri için basitçe ayarlandı mı? Yoksa iki tanım arasında bir tür çatışma var mı?

— pir
kaynak

3

Kayıt için: tekil kriter, çoğul kriterler. (Buna göre düzenlendi.)

— Nick Cox

15

Notlarınızdan alıntıladığınız formül tam olarak AIC değildir.

AIC . $-2\log\mathcal{L}+2k$

Burada neler olup bittiğini yeterince açıklığa kavuşturan yaklaşık bir türetmenin ana hatlarını vereceğim.

Sabit varyanslı bağımsız normal hatalara sahip bir modeliniz varsa,

L \propto σ^{- n} e^{- \frac{1}{2 σ^{2}} \sum ε_{i}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

maksimum olasılık altında tahmin edilebilecek

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

( tahmininin ML tahmini olduğunu varsayarsak ) $\sigma^2$

Öyleyse (bir sabit kadar kaydırmaya kadar) $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

Şimdi ARMA modelinde, , ve karşılaştırıldığında gerçekten büyükse , o zaman böyle bir Gauss çerçevesi ile tahmin edilebilir (örneğin, ARMA'yı yaklaşık olarak daha uzun bir AR olarak yazabilirsiniz ve bu AR'yi yazmak için yeterli koşullarla regresyon modeli olarak), yani yerine ile : $T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

bundan dolayı

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

Şimdi sadece AIC'leri karşılaştırıyorsanız , tarafından yapılan bu bölümün önemi yoktur, çünkü AIC değerlerinin sırasını değiştirmez. $T$

Bununla birlikte, AIC'yi, AIC'deki farklılıkların gerçek değerine dayanan bir başka amaç için kullanıyorsanız (Burnham ve Anderson tarafından açıklandığı gibi çok modelli çıkarım yapmak gibi), o zaman önemlidir.

Çok sayıda ekonometri metni bu AIC / T formunu kullanıyor gibi görünüyor. Garip bir şekilde, bazı kitaplar bu form için Hurvich ve Tsai 1989 veya Findley 1985'e atıfta bulunuyor gibi görünüyor, ancak Hurvich & Tsai ve Findley orijinal formu tartışıyor gibi görünüyor (ancak Findley'nin şu an ne yaptığını dolaylı olarak gösteriyor, belki de var Findley'de bir şey).

Bu tür ölçeklendirme çeşitli nedenlerle yapılabilir - örneğin, zaman serisi, özellikle yüksek frekanslı zaman serisi, çok uzun olabilir ve sıradan AIC'lerin, özellikle çok küçükse , uygunsuz olma eğilimi olabilir . (Olası başka nedenler de var, ancak bunun nedenini gerçekten bilmediğimden, olası tüm nedenlerin bir listesine girmeye başlamayacağım.) $\sigma^2$

Rob Hyndman'ın AIC'nin Gerçekler ve yanlışlar listesine, özellikle de 3 ila 7 maddelerine bakmak isteyebilirsiniz. Bu noktalardan bazıları, Gauss olasılığının yaklaşıklığına çok az güvenme konusunda en azından biraz temkinli davranmanıza neden olabilir, ancak belki burada önerdiğimden daha iyi bir gerekçe var.

Bu yaklaşımı, gerçek AIC yerine günlük olabilirliğe kullanmak için iyi bir neden olmadığından emin değilim, çünkü bu günlerde birçok zaman serisi paketi ARMA modelleri için gerçek günlük olasılığını hesaplama (/ maksimize etme) eğilimindedir. Kullanmamak için çok az neden var gibi görünüyor.

— Glen_b-Monica'yı eski durumuna döndür
kaynak

1

Er ya da geç, herhangi bir * IC ile ilgili her tartışma "Bu ve benzeri durumlarda çoğu zaman yanlış cevap vermesi dışında kullanmanız gereken kriterdir." Sadece ironik olmak, genellikle yararlı bir cevabı eleştirmek değil. Bu, tıpkı birisinin sizi dövmeye veya parçalamaya çalıştığı durumlarda, "herkesi sevmek" gibi bazı genel makamların diğer tavsiyelerle geçici olarak geçersiz kılınacağı gerçek hayat gibidir.

— Nick Cox

1

@Nick, AIC yerine AIC / kullanan metinlerden rahatsız değilim , ama beni endişelendiren şey, baktığım ekonometri kitaplarının çoğunun yorum yapmadan sadece "AIC" dediği . Bana göre bu sadece pervasızca sorumsuz. Bunu ilk yapan, ancak böyle söylemeyen, tekrar tekrar kopyalandı.

n

$n$

— Glen_b

2

Bunun normal hataların varsayımına dayandığını düşünüyorum. Ekonometride, özellikle AIC kullanan zaman serisi uygulamalarında asimtotik kullanarak çalışıyorsunuz. Sonuç olarak, normal varsayım, bu (asimtotik) model seçim şemasını haklı göstermek için asimptotik olarak tutulmalıdır.

Normal olasılığın logaritmasının , burada verileriniz X'den alınmışsa ve . Aşağıdaki gibi, ilk terimi ihmal ediyoruz. gözlenen örnek bunu etkilemez. $ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

Daha genel (ilk) formülü kullanın ve normal olasılık için takın . İlk terim göz ardı edilebilir (regresör seçiminden bağımsız olarak sabittir). İkinci terim . Üçüncü terim , burada . Yine, burada bir sonlu örnek düzeltmesi kullanılmaması gerekçelendirilmiştir, çünkü bu tahmin edici sadece hatalar normal değilse asimptotik olarak geçerlidir. bilmediğimiz için üçüncü terimi olarak tahmin etmemiz gerekir. = T. $L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$

Özetle, bu, normal olasılığını elde ettiğimiz anlamına gelir . Söylemeye gerek yok, minimizasyon sabit göz ardı ederek etkilenmez . Terim şimdi bölünür , çünkü tüm katkı bileşenlerini göre ölçeklendirmek için minimizasyon problemini değiştirmez . Bu sizi ikinci sonuca , çünkü ve minimizasyon amacıyla özdeştir. $AIC = 2k + Tln(\sigma^2) + 1$ $1$ $T$ $T$ $AIC$ $AIC/T$

— Jeremias K
kaynak