Kement regresyon modelleri için AIC ve BIC hesaplamak mümkün mü?

31

Kement regresyon modelleri ve parametrelerin denklemin sadece kısmen girdiği diğer düzenli modeller için AIC veya BIC değerlerini hesaplamak mümkün mü. Kişi serbestlik derecelerini nasıl belirler?

Paketdeki glmnet()fonksiyona kement regresyon modellerine uyması için R kullanıyorum glmnetve bir model için AIC ve BIC değerlerinin nasıl hesaplanacağını bilmek istiyorum. Bu şekilde, değerleri normalleştirme olmadan uygun modellerle karşılaştırabilirim. Bunu yapmak mümkün mü?

— Jota
kaynak

1

Evet, bunu yapabilirsiniz, ancak büyük olasılıkla doğru düzeltmeyi türetmenizi gerektirecektir. Düzeltme, bu makalede ncbi.nlm.nih.gov/pmc/articles/PMC2629611'de penaltı haline getirilmiş sonlu karışım modellemesi bağlamında türetilmiştir , ancak benzer bir argüman diğer ceza modellerinde de yeterli olacaktır.

— Makro

12

Ayrıca aşağıdaki makaleleri ilginizi çekebilir:

RJ Tibshirani ve J. Taylor (2011), Kement problemlerinde serbestlik derecesi , arXiv preprint: 1111.0653 .

H. Zou, T. Hastie ve R. Tibshirani (2007), kementiyle serbestlik dereceleri üzerinde , İstatistik Annals 35 (5), 2173-2192.

— Alexandra
kaynak

14

Nihai cevabı biraz açıklama olsaydı iyi olurdu;

— user4581

10

Glmnet modelleri için AIC ve BIC'yi nasıl hesaplayacağımızla çok uğraşıyordum. Ancak, oldukça fazla arama yaptıktan sonra, google results in üçüncü sayfasında cevabı buldum. Bu bulunabilir burada . Tek olamayacağımı düşündüğüm için gelecekteki okuyucular için buraya gönderiyorum.

Sonunda, AIC ve BIC'yi şu şekilde uyguladım:

fit <- glmnet(x, y, family = "multinomial") 

tLL <- fit$nulldev - deviance(fit)
k <- fit$df
n <- fit$nobs
AICc <- -tLL+2*k+2*k*(k+1)/(n-k-1)
AICc

BIC<-log(n)*k - tLL
BIC

— johnnyheineken
kaynak

2

Johnnyheineken tarafından referans verilen linkte, yazar şöyle diyor:

Korkarım ki glmnet nesnesinden (dev.ratio, nulldev) elde edilebilecek iki miktar, AICc'yi hesaplamanız gereken model için bir olasılık bulmakta yeterli değil. Üç bilinmeyenli iki denkleminiz var: olabilirlik (sıfır), olabilirlik (model) ve olabilirlik (doymuş). Olasılık (model) olasılığından (null) kurtulmaz.

Bana öyle geliyor ki, AIC'yi iki model arasında karşılaştırırsanız, boş sapmayı ayrı tutamayacağınız gerçeği önemli olmamalıdır. Eşitsizliğin her iki tarafında da var olduğu için hangi modelin daha düşük AIC'ye sahip olduğunu gösterecektir. Bu iki şeye bağlıdır:

Veriler her iki modelde de aynıdır (yine de AIC karşılaştırması için gerekli)
Ne Stat101'den ne de lise cebirinden bir şey unutamıyorum (şu anki kafein alımımı dikkate alan güçlü bir varsayım)

— naturalBlogarithm
kaynak