Neden bilgi kriteri (ayarlanmadı)

9

ARMA-GARCH gibi zaman serisi modellerinde, modelin uygun gecikmesini veya sırasını seçmek için AIC, BIC, SIC vb. Gibi farklı bilgi kriteri kullanılır.

Sorum çok basit, neden kullanmıyoruz ayarlanmış $R^2$ uygun modeli seçmek için? Ayarlanmış daha yüksek değere yol açan modeli seçebiliriz $R^2$ . Çünkü ikisi de ayarlandı $R^2$ ve modeldeki ek regresörler için bilgi kriteri cezalandırılır. $R^2$ ve daha sonra olabilirlik değerini cezalandırır.

— Neeraj
kaynak

Cevaplarda bir şey eksik olabilir (aşağıda), ancak R-kareleri ve Düzeltilmiş R-kareleri, OLS tahmini modellerinin nispeten sınırlı sınıfı için uygundur, oysa AIC'ler, BIC'ler vb. Daha geniş genelleştirilmiş doğrusal sınıf için uygundur. modeller, belki ML veya bir varyant ile tahmin edilmiştir.

— Mike Hunter

12

En azından doğrusal modelleri tartışırken (AR modelleri gibi), $R^2$ ve AIC o kadar farklı değil.

Olup olmadığını sorun. $X_2$ dahil edilmelidir

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$ Bu, modelleri karşılaştırmaya eşdeğerdir

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$ nerede

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$ . Diyoruz ki

M_{2}

$\mathcal{M}_2$ ise gerçek bir model ise

β_{2} \neq 0

$\beta_2\neq0$ . Dikkat edin

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$ . Bu nedenle modeller yuvalanmıştır . Bir model seçim prosedürü

\hat{M}

$\widehat{\mathcal{M}}$ birkaç modelden en mantıklısı seçen verilere bağlı bir kuraldır.

Diyoruz $\widehat{\mathcal{M}}$ ise tutarlı ise

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

Düzeltilmiş düşünün . Yani, ise . Şöyle monoton bir şekilde azalmaktadır , bu prosedür, en aza indirmek için eşdeğerdir . Buna karşılık, bu değerini en aza indirmeye eşdeğerdir . Yeterince büyük , ikincisi nerede $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ hata varyansının ML tahmincisidir. temelli model seçimi asimptotik olarak en küçük olan modeli seçmeye eşdeğerdir . Bu prosedür tutarsız.

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

Önerme :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

İspat : ; buradaki istatistik, bir asimptotik izleyen doğrusal regresyon durumunda LR istatistiği olduğu için 2.-son satırın ardından gelir. boş dağıtım. QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

Şimdi Akaike kriterlerini, düşünün. Böylece, AIC ayrıca ek gerileyenlerin uyguladığı SSR'nin "ceza süresi" , "ki bu zıt yönü gösterir. Böylece, seçim eğer , başka seçmek .

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

yukarıdaki 3. ile devam ederek de tutarsız olduğu görülebilir. . Ayarlanan ve , gerçek model olsa bile, pozitif olasılıkla "büyük" model seçer . $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

AIC'deki karmaşıklık cezası, düzeltilmiş biraz daha büyük olduğundan , aşırı seçime daha az eğilimli olabilir. Ve yazımda ele alınmayan diğer güzel özelliklere (bu, dikkate alınan modeller kümesinde değilse gerçek modele KL sapmasını en aza indirmek) sahiptir. $R^2$

— Christoph Hanck
kaynak

1

Harika cevap: çok ağır değil ama yine de kesin! Eğer dün orada olsaydı, benimkini göndermezdim.

— Richard Hardy

ARMA-GARCH davası ne olacak? MA ve GARCH terimleri arasında seçim yapmakta ne yapardı ?

R_{a d j}^{2}

$R^2_{adj}$

— Zachary Blumenfeld

Söylemeye cesaret edemem. Açıkladığınız gibi, R2'nin böyle bir modelin uyumu için ne anlama geldiği bile net değil.

— Christoph Hanck

5

içindeki ceza , AIC veya BIC tarafından ortaya konulduğu üzere model seçimi açısından hoş özellikler vermez. içindeki ceza , regülatörlerin hiçbiri gerçekten modele ait olmadığında popülasyonunun tarafsız bir tahmincisi yapmak için yeterlidir (Dave Giles'in blog gönderilerine göre "In What Sense "Düzeltilmiş" R-Kare Kenarsız mı? " ve " Düzeltilmiş "Belirleme Katsayısı" nın Özellikleri Hakkında Daha Fazla Bilgi ); ancak, uygun bir model seçici değildir. $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

(Çelişki bir kanıtı olabilir: AIC uygun bir anlamda olup BIC başka uygun ise ve bunlardan birine denk olmayan, daha sonra ya da optimal değildir bu iki duyunun.) $R^2_{adj}$ $R^2_{adj}$

— Richard Hardy
kaynak

önce kaç GARCH parametresi eklemem gerekir ? :) .... İlişkili hataların varsayımı için benzer bir argümanın yapılabileceğine inanıyorum (MA modelinde olduğu gibi), bir GLS modeli, sıradan en küçük kareler üzerindeki kare kalıntıların toplamını azaltmaz. Hem MA hem de GARCH'da, modele parametreler ( için ayarlanan açıklayıcı değişkenler değil ) eklenir. MA ve GARCH parametreleri azaltmak için eklenmez , bunun yerine , iid hata terimlerinin eksikliğini yansıtmak üzere, kare şeklindeki artıkların ağırlıklı toplamını azaltır .

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— Zachary Blumenfeld

Bu gerçekten orijinal gönderiyi mi yoksa cevabımı mı ele alıyor? Her durumda, puanlarınıza katılıyorum.

— Richard Hardy

Ne işaret etmeye çalışıyordu olduğunu gerçekten kesir dayalı olduğu (ve muhtemelen MA bileşenlerinin) GARCH bileşenlerine üzerine seçmek için kullanılamaz üzerinde tahmincileri önyargılı edilir hata terimleri iid olmadığında değişkenlik. (bu sadece konuştuğunuz yerdeki önyargıların özel bir örneğidir). ARMA-GARCH durumunda, verilerde stokastik uçuculuk olsa bile asla GARCH bileşenlerine sahip bir model seçemezsiniz, çünkü arttırmaz . Temel olarak, belirli örnekler vermeye çalışarak sizinle aynı fikirdeyim.

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— Zachary Blumenfeld