Sadece göreli karşılaştırmalar yerine mutlak olarak kullanılabilecek bir model uygun istatistik (AIC veya BIC gibi) var mı?

Bu literatüre aşina değilim, bu yüzden bu açık bir soru ise lütfen beni affet.

AIC ve BIC olasılığı en üst düzeye çıkarmaya bağlı olduğu için, sadece belirli bir veri kümesine uymaya çalışan bir dizi model arasında göreceli karşılaştırmalar yapmak için kullanılabilecekleri görülmektedir. Anladığım kadarıyla, veri kümesi 1'de Model A için AIC'yi hesaplamak, veri kümesi 2'de Model B için AIC'yi hesaplamak ve daha sonra iki AIC değerini karşılaştırmak ve (örneğin) Model A, veri seti 1'i Model B'ye veri seti 2'ye göre daha iyi uyuyor. Ya da belki yanılıyorum ve bu makul bir şey. Lütfen bana haber ver.

Sorum şu: sadece göreli karşılaştırmalar yerine mutlak için kullanılabilecek bir model uygun istatistik var mı? Doğrusal modeller için, gibi bir şey işe yarar; "iyi" bir değer hakkında tanımlanmış bir aralığa ve disipline özgü fikirlere sahiptir. Daha genel bir şey arıyorum ve buradaki uzmanlara ping yaparak başlayabileceğimi düşündüm. Eminim birisi daha önce bu tür şeyleri düşünmüştü, ancak Google Akademik'te verimli bir arama yapmak için doğru terimleri bilmiyorum. $R^2$

Herhangi bir yardım mutluluk duyacağız.

model-selection aic bic

— Nathan VanHoudnos
kaynak

A modeli veri kümesi 1'e ve model B veri kümesi 2'ye uyuyorsa, karşılaştırılacak hiçbir şey yoktur: modeller ve veriler tamamen farklıdır. Peki tam olarak ne yapmaya çalışıyorsunuz? BTW, bu açıdan işe yaramaz; bazı eleştiriler için bkz. stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

— whuber

'Daha genel' bir şeyle ne demek istiyorsun, genişletmek isteyebileceğiniz otye türlerine bir örnek verebilir misiniz? Bazı modeller bir yaklaşımına adapte olmak kolay olacaktır , örneğin düşük uyumlar, diğerleri oldukça zor olacaktır, örneğin binom verisi uyumları.

R^{2}

$R^2$

— russellpierce

@whuber Vay be, bu sorusuna harika bir yanıt ! Ancak, yetersizlikleri bir yana, , modellerinin "mutlak" bir anlamda "iyi" olduğunu söylemek için kullanılır (örn. "Benim , normalde gördüklerinden daha iyidir ... "). Ben aynı amacı gerçekleştirmek için daha haklı (ve genel) bir istatistik arıyorum (örneğin "Benim MagicStatistic böyle ve böyle daha iyi ...). İlk saf düşünce gibi bir şey yapmak oldu k-kat çapraz doğrulama puanını normalleştirmek, ancak kimse böyle bir şey yapmış gibi görünmüyor (bu muhtemelen iyi bir fikir değil)

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos

@Nathan Bir noktaya zarar veriyorum ya da takıntılı gibi gelmek istemiyorum - Ben değilim - ama kullanan insanların başıma geliyor

R^{2}

$R^2$

R^{2}

$R^2$

Hakkında konuştuğunuz alanda hayal edebileceğim tek şey, tahmin doğruluğunun ölçüsü olacaktır. İki farklı veri setindeki iki modelin kalitesi potansiyel olarak karşılaştırılabilir, ancak bu mükemmel değildir.

— Makro

Macro'un önerdiği doğrultuda, aradığınız terimin bir performans ölçüsü olduğunu düşünüyorum. Öngörücü gücü değerlendirmenin güvenli bir yolu olmasa da, çeşitli modellerin montaj kalitesini karşılaştırmak için çok yararlı bir yoldur.

Örnek bir ölçüm, Ortalama Ortalama Yüzde Hatası olabilir, ancak daha fazlası kolayca bulunabilir.

Bir yoldaki delik sayısını tanımlamak için SetA'yı ModelA ile kullandığınızı ve bir ülkedeki kişi sayısını tanımlamak için SetB ve modelB'yi kullandığınızı varsayalım, elbette bir modelin diğerinden daha iyi olduğunu söyleyemezsiniz, ancak en azından hangi modelin daha doğru bir açıklama sağladığını görün.

— Dennis Jaheruddin
kaynak

Tam olarak aradığınızı araştıran yeni ish kağıtları var bence; Nakagawa ve Schielzeth (2013) , bir modeldeki açıklanamayan varyans miktarını tanımlamak için "R2 GLMM" adlı karışık efektli modeller için bir R² istatistiği sunmaktadır.

Koşullu R²GLMM, hem sabit hem de rasgele faktörler tarafından açıklanan varyans olarak yorumlanır;

Marjinal R²GLMM, sabit faktörlerle açıklanan varyansı temsil eder.

2014 yılında Johnson denklemi rastgele eğim modellerini hesaba katarak güncelledi.

Mutlulukla, R'deki "MuMIn" paketini kullanarak hem marjinal hem de koşullu R²GLMM'yi kolayca hesaplayabilirsiniz ( Barton, 2015 ).

— Nova
kaynak