Karışık etki modelleri nasıl karşılaştırılmalı ve ya da doğrulanmalıdır?

(Doğrusal) karışık etki modelleri normal olarak birbirleriyle nasıl karşılaştırılır? Olasılık oranı testlerinin kullanılabileceğini biliyorum, ancak bir model diğerinin 'altkümesi' değilse, bu işe yaramaz mı?

Modellerin tahmini df her zaman basit midir? Sabit etki sayısı + varyans bileşenlerinin sayısı tahmin edildi mi? Rastgele etki tahminlerini görmezden mi geliyoruz?

Peki ya doğrulama? İlk düşüncem çapraz doğrulama, ancak verilerin yapısı göz önüne alındığında rastgele katlamalar işe yaramayabilir. 'Bir konuyu / kümeyi dışarıda bırakma' metodolojisi uygun mu? Bir gözlemi bırakmaya ne dersin?

Mallows Cp, modeller tahmin hatasının bir tahmini olarak yorumlanabilir. AIC üzerinden model seçimi, tahmin hatasını minimize etmeye çalışır (Bu nedenle, hatalar Gaussiyse Cp ve AIC aynı modeli seçmelidir). Bu, AIC veya Cp'nin, iç içe geçmemiş bazı modellerden oluşan tahminden tahmin hatası olarak 'optimal' doğrusal karışık etki modelini seçmek için kullanılabileceği anlamına mı geliyor? (aynı verilere uymaları şartıyla) BIC'in adaylar arasında 'gerçek' modeli seçmesi hala daha olası mı?

Ayrıca, karma efekt modellerini AIC veya BIC üzerinden karşılaştırırken, sabit etkileri sadece hesaplamada 'parametreler' olarak saydığımızı, gerçek modellerin df yerine geçtiğini de ima ediyorum.

Bu konularda iyi bir literatür var mı? CAIC veya mAIC'i incelemeye değer mi? AIC dışında özel uygulamaları var mı?

Karışık modellerde model seçimindeki asıl sorun, bir modelin serbestlik derecesini (df) gerçekten tanımlamaktır. Karışık bir modelin df'sini hesaplamak için, sabit ve rastgele etkiler dahil olmak üzere tahmini parametrelerin sayısı tanımlanmalıdır. Ve bu basit değil. Jiming Jiang ve diğerleri (2008) tarafından "Karışık model seçimi için Çit yöntemleri" başlıklı bu makale bu durumlarda uygulanabilir. Yeni bir ilgili iş bu bir "karışık doğrusal model marjinal ve koşullu AIC davranımı" başlıklı Greven, S. & Kneib, T. (2010) tarafından. Umarım bu yardımcı olabilir.

Modelleri karşılaştırmanın bir yolu (karışık veya başka şekilde) sonuçları çizmektir. Diyelim ki model A ve model B'yi havalandırın; takılan değerleri her birinden üretin ve bir dağılım grafiğinde birbirine karşı çizin. Değerler birbirine çok benziyorsa (değerlerin olup olmadığına dair kararınızı kullanarak) daha basit modeli seçin. Başka bir fikir, takılan değerler arasındaki farkları bulmak ve bunları bağımsız değerlere karşı çizmektir; ayrıca farklılıkların yoğunluğunu çizebilirsiniz. Genel olarak, ben bir savunucusuyum değil (AIC ve türevleri kesinlikle fazilete sahip rağmen) modelleri karşılaştırmak için istatistiksel testler kullanılarak ziyade yargı kullanarak. Tabii ki, bu kesin cevap vermeme (dis) avantajına sahiptir.