AIC model karşılaştırması için ön koşullar

AIC modelinin işe yaraması için yerine getirilmesi gereken ön koşullar nelerdir?

Böyle bir karşılaştırma yaptığımda bu soruyu daha yeni çözdüm:

> uu0 = lm(log(usili) ~ rok)
> uu1 = lm(usili ~ rok)
> AIC(uu0)
[1] 3192.14
> AIC(uu1)
[1] 14277.29

Bu sayede logdeğişken dönüşümünü haklı çıkardım usili. Fakat örneğin bağımlı değişken farklı olduğunda AIC modellerini karşılaştırabilir miyim, bilmiyorum?

İdeal cevap, önkoşulların (matematiksel varsayımların) listesini içerir.

— Meraklı
kaynak

Yanıtlar:

İki modeli, aynı değişkeni modellemedikleri için karşılaştıramazsınız (kendinizi doğru tanıdığınızdan). Bununla birlikte, AIC hem iç içe hem de sorgulanmamış modelleri karşılaştırırken çalışmalıdır.

Devam etmeden önce sadece bir hatırlatma: Gauss günlükleri olabilir.

\log (L (θ)) = - \frac{| D |}{2} \log (2 π) - \frac{1}{2} \log (| K |) - \frac{1}{2} (x - μ)^{T} K^{- 1} (x - μ),

$\log(L(\theta)) =-\frac{|D|}{2}\log(2\pi) -\frac{1}{2} \log(|K|) -\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu),$

$K$ $|D|$ $\mu$ $x$

$2k - 2 \log(L)$ $k$ $L$ $2k$ $2\log(L)$ $-\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu)$ $-\frac{1}{2} \log(|K|)$

$|D| \log\left(\frac{RSS}{|D|}\right) + 2k$

Akaike'nin orijinal makalesi [4] aslında kavraması oldukça zor (sanırım). KL farklılığına (kabaca konuşulan iki dağıtım arasındaki fark) dayanır ve verilerinizin bilinmeyen gerçek dağılımını nasıl tahmin edebileceğinizi kanıtlamak için çalışır ve bunu modelinizin varsaydığı verilerin dağılımı ile karşılaştırırsınız. Bu nedenle “daha küçük AIC puanı daha iyidir” ; Verilerinizin yaklaşık gerçek dağılımına daha yakınsınız.

Bu yüzden hepsini bir araya getirmek için AIC kullanırken hatırlanması gereken açık şeyler üç [2,5]:

Farklı veri setlerinin modellerini karşılaştırmak için kullanamazsınız.
Tüm aday modeller için aynı yanıt değişkenlerini kullanmalısınız.
$|D| >> k$

Kötü haberi sana kırdığım için üzgünüm ama AIC kullanarak bir bağımlı değişkenden diğerini seçtiğini göstermek için yapmak istatistiksel olarak sağlam bir şey değil. Her iki modelde de kalıntılarınızın dağılımını kontrol edin, eğer kayıtlı veri durumu normalde artıkları dağıttıysa ve ham veri durumu yoksa, ihtiyacınız olabilecek tüm gerekçelere sahip olursunuz. Ham verilerinizin bir lognormal ile uyuşup uyuşmadığını kontrol etmek de isteyebilirsiniz, bu da gerekçelendirme için yeterli olabilir.

Kesin matematiksel varsayımlar için oyun KL ayrımı ve bilgi teorisidir.

Ah ve bazı referanslar:

http://en.wikipedia.org/wiki/Akaike_information_criterion
Akaike Bilgi Kriteri, Shuhua Hu, (Sunum s.17-18)
Uygulamalı Çok Değişkenli İstatistiksel Analiz, Johnson & Wichern, 6. Ed. (s. 386-387)
İstatistiksel model tanımlamasına yeni bir bakış, H. Akaike, IEEE Otomatik Kontrol İşlemleri 19 (6): 716–723 (1974)
Model Seçimi Eğitimi No.1: Akaike'nin Bilgi Kriteri, D. Schmidt ve E. Makalic, (Sunum s.39)

— usεr11852 diyor ki Reinstate Monic
kaynak

Teşekkürler! Matematiği anlamadım ama mesajın çekirdeğini aldım. Ancak, AIC model karşılaştırması için gereken tüm ön koşulları listeleyebilir misiniz? Bir dahaki sefere başka bir hata yapmayacağımdan emin olmak için. Onları birer birer kontrol edeceğim.

— Meraklı

| D |

$|D|$

p

$p$

L (θ)

$L(\theta)$

θ

$\theta$

p (x | θ)

$p(x|\theta)$

— usεr11852, Reinstate Monic’in

Cevabınıza bu 3 varsayımın listesini eklediğiniz için teşekkür ederiz! İhtiyacım olan buydu.

— Meraklı

Cevabınıza tekrar bakmak: Puanınız 1. "Farklı veri setlerinin modellerini karşılaştırmak için kullanamazsınız" . Veri seti derken ne demek istiyorsun? Bağımlı değişken kümesini değiştirirsem ne olur? Sanırım bu durumda AIC hala karşılaştırılabilir olmalı? Bunu netleştirmek için lütfen cevabınızı güncelleyebilir misiniz?

— Meraklı

R S S

$RSS$

μ

$\mu$

x

$x$

uu0 $\prod_i y_i^{-1}$ $2\sum_i\log (y_i)$ uu0AIC (uu0)+2*sum (log (usili))AIC (uu1)

— probabilityislogic
kaynak

AIC'yi bir şekilde "düzeltme" girişimi ile ne takip ettiğinizi ve gerçekte ne elde ettiğinizi anlamıyorum (sonucunuzu nasıl yorumlayabilirsiniz). Her neyse, bununla ilgilenmeyin, sorun değil çünkü sorum tamamen farklı bir şeydi: AIC'nin (gerçek, düzeltilmemiş) mantıklı bir şekilde karşılaştırılabilir olmasının genel önkoşulları nelerdir . Bu özel örneğe odaklanmayın, bu yalnızca genel bir örnek.

— Meraklı

- 2 \log (p (y | θ))

$-2\log (p (y|\theta))$

x = g (y)

$x=g (y)$

x = l o g (y)

$x=log (y)$ AIC()

— Olasılık

@probabilityislogic: Önerinizle ilgili akademik referanslarınız var mı (AIC (uu0) + 2 * sum (log (usili))); Teşekkürler.

— KuJ

Akaike 1978'den bu alıntı, @ probabilityislogic tarafından çözüme destek veren bir alıntı sunar.

Akaike, H. 1978. Bir Zaman Serisi Modelinin Olasılığı Üzerine. Kraliyet İstatistik Derneği Dergisi. Seri D (İstatistikçi) 27: 217-235.

— BJD
kaynak

üzgünüm anlamıyorum, "bir değişkenin dönüşümü" nedir ve bunun sorumla ne alakası var? Lütfen açıklayın, teşekkürler

— Meraklı