AIC'de 'parametre sayısı' nın anlamı

21

AIC hesaplanırken,

$AIC = 2k - 2 ln L$

k 'parametre sayısı' anlamına gelir. Fakat parametre olarak ne sayılır? Yani örneğin modelde

$y = ax + b$

A ve b her zaman parametre olarak sayılır mı? Kesmenin değerini umursamıyorsam, görmezden gelebilir miyim yoksa hala sayılır mı?

Farzedelim

$y = a f(c,x) + b$

nerede c ve x bir fonksiyonudur, şimdi 3 parametre sayabilirim? $f$

aic

— Sideshow Bob
kaynak

9

Bu iyi bir soru, çünkü bir incelik var: tahmin edilecek tanımlanabilir parametre sayısı . Örneğin, her ne kadar regresyon modelinde beş parametre yazılır, yine de . (Bu model, yalnızca dört parametreye ihtiyaç duyan ve ile ile .)

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Kesinlikle, tüm tanımlanabilir, serbest parametreleri sayın - ortalama parametreler, şekil ve ölçek parametreleri, ne olursa olsun (ve AIC için önemli ), ancak AIC için, karşılaştırılan modellerde ortak parametreleri atlarsanız bunun bir sonucu yoktur. Örneğin, regresyonda varyans parametresini saymalısınız. Bu nedenle, sayımla, sorunuzdaki tüm parametre sayımlarınız bir kısadır - ancak tüm modellerde tam olarak bir tane varsa, AIC için düşürmek zarar vermez. Regresyon modellerinde AIC hesaplanırken R açıkça varyans parametresini sayar.

_{C}

$_C$

— Glen_b -Manica Monica

@whuber Bu mükemmel yorum neden cevap olarak gönderilmiyor? :)

— Alexis

Teşekkürler @Alexis. Bu düşünceyi bir yorum olarak gönderdim çünkü fikir P Schnell'in cevabında yeterince ele alındı: Sadece biraz daha vurgulamak istedim.

— whuber

17

Mugen'in belirttiği gibi, tahmin edilen parametre sayısını temsil eder . Başka bir deyişle, modeli tam olarak belirlemek için bilmeniz gereken ek miktarların sayısıdır. Basit doğrusal regresyon modelinde , veya her ikisini de tahmin edebilirsiniz . Hangi miktarlarda tahmin ederseniz et, düzeltmelisiniz. Bilmediğiniz ve umursamadığınız anlamında bir parametreyi "yoksaymak" yoktur. Her iki tahmin etmez en yaygın modeli ve Düzeltmeye hiçbir kesişim modeli olan . Bunun 1 parametresi olacaktır. veya kolayca düzeltebilirsiniz $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$

a = 2

$a=2$

b = 1

$b=1$ bunun gerçeği yansıttığına inanmak için bir nedeniniz varsa. (İnce nokta: da basit bir doğrusal regresyonda bir parametredir, ancak her modelde olduğu için AIC karşılaştırmasını etkilemeden onu düşürebilirsiniz.)

σ

$\sigma$

Modeliniz ise, parametre sayısı bu değerlerden herhangi birini düzeltip düzeltmediğinize ve biçimine bağlıdır . Örneğin, tahmin etmek ve olduğunu bilmek istiyorsak, modeli yazdığımızda bilinmeyen üç parametreye sahip var. Bununla birlikte, , o zaman gerçekten sadece iki parametreye sahip olan modeline : ve .

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

nin indekslenmiş bir fonksiyonlar ailesi olması çok önemlidir . Bildiğiniz tek şey in sürekli olması ve ve bağlı olması durumunda, şanssızsınız çünkü sayılamayacak kadar çok sürekli fonksiyon var. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
kaynak

2

(+1) Belki de "tahmin" boyunca "maksimum olabilirlik tahmini" anlamına geldiğini belirtmek gerekir.

— Scortchi - Monica'yı eski durumuna döndürün

Bu gerçekten önemli mi? Aslında benim muazzam bir simülasyon, analitik olarak koparılması imkansız ve hesaplanması saatler sürüyor. Ben yaklaşık 20 farklı değerleri ile denemek çünkü tüm zamanımız var, ve ben günün sonunda en iyi veren değeri ile sopa . Yani bir şekilde, bir gerilemede yaptığınız gibi olmasa da, olabildiğince iyi tahmin ettim. Elbette hala AIC için bir parametre olarak sayılıyor mu?

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

— Sideshow Bob

2

@SideshowBob: Evet - iki modeli karşılaştırdığınızda, maksimize edilmiş günlük olasılıklarındaki fark, beklenen Kullback-Leibler bilgi kaybındaki farkın önyargılı bir tahmincisidir ve AIC'deki ceza terimi bu önyargıyı yaklaşık olarak düzeltir.

— Scortchi - Monica'yı eski durumuna döndürün

1

@SideshowBob: Genelleştirilmiş tahmin denklemleri ve benzerleri için AIC modifikasyonları olduğunu belirtmeliyim - maksimum yarı olasılık ve daha karmaşık bir ceza terimi kullanıyorlar.

— Scortchi - Monica'yı eski durumuna döndürün

4

Herhangi bir istatistiksel model için, AIC değeri ; burada k, modeldeki parametre sayısıdır ve L, model için olabilirlik işlevinin en büyük değeri. $\mathit{AIC} = 2k - 2\ln(L)$

( buraya bakın )

Gördüğünüz gibi, her modelde tahmin edilen parametre sayısını temsil eder . Modeliniz bir kesme noktası içeriyorsa (yani, kesme noktası için bir nokta tahmini, sapma ve güven aralığı hesaplarsanız), parametre olarak sayılır. Öte yandan, kesişme olmadan bir model hesaplıyorsanız, sayılmaz. $k$

AIC'nin sadece uyum iyiliğini özetlemediğini, aynı zamanda modelin karmaşıklığını da dikkate aldığını unutmayın. Bu yüzden , daha fazla parametreli modelleri cezalandırmak için var. $k$

İkinci sorunuza cevap verecek kadar bilgili hissetmiyorum, bunu topluluğun başka bir üyesine bırakacağım.

— mugen
kaynak

1

Bu, eğer Box-Cox hem x hem de y'yi dönüştürürse , bu dönüşümlerin her birinden da parametre olarak sayılır mı?

λ

$\lambda$

— Sideshow Bob

1

Evet kesinlikle.

— PA6OTA

1

Birincisi, AIC'yi bilmeyenlere: Akaike Bilgi Kriteri (AIC), modellerin "iyiliğini" karşılaştırmak için tasarlanmış basit bir metriktir.

AIC'ye göre, aynı giriş ve yanıt değişkenlerine uygulanan iki farklı model arasında seçim yapmaya çalışırken , yani aynı sorunu çözmek için tasarlanmış modeller arasında, daha düşük AIC'ye sahip model "daha iyi" olarak kabul edilir.

AIC formülünde , modeldeki değişkenlerin sayısını (giriş özellikleri veya sütunlar) ifade eder. Model ne kadar karmaşıksa (tahmin veya tahmin için daha fazla değişken gerekir), AIC o kadar yüksek olur. Bu, aynı öngörücü güce veya doğruluğa sahip iki model arasında daha basit modelin kazanmasını sağlar. Bu bir Occam tıraş makinesidir. $k$

Dolayısıyla, son sorunun basit cevabı şudur: cin , gözlemlerle değişmeyen bir sabit ise, o zaman dahil edilmemelidir . $f(c, x)$ $k$

— arielf
kaynak