Karışık modeller için Çapraz Doğrulama?


9

Meslektaşım ve ben bir dizi doğrusal ve doğrusal olmayan karışık efekt modeli takıyoruz. Gözlenen etkilerin nispeten genelleştirilebilir olduğunu doğrulayabilmemiz için, takılan modeller üzerinde çapraz doğrulama yapmamız isteniyor. Bu normalde önemsiz bir görevdir, ancak bizim durumumuzda, tüm verileri bir eğitim bölümüne ve ortak seviyeleri paylaşmayan bir test bölümüne (CV amaçları için) bölmeliyiz. Örneğin,

Eğitim verileri Grup 1,2,3,4; Takılan model daha sonra Grup 5'de çapraz doğrulanır.

Bu nedenle, egzersiz verileri üzerinde tahmin edilen grup tabanlı rastgele etkiler test verileri için geçerli olmadığından bu bir sorun yaratır. Bu nedenle, modeli özleyemeyiz.

Buna nispeten basit bir çözüm var mı? Yoksa bu sorunu çözmek için henüz bir paket yazmış mı? Herhangi bir ipucu açığız!

Teşekkürler!


2
Küçük alan tahmininde, "örnek dışı" küçük alanlarla aynı probleminiz vardır. Genellikle yapılan, örnek dışı rastgele etkileri sıfır ile tahmin etmenizdir (en olası değerleri - rastgele etkilerinizin normal olarak dağıtıldığı varsayılarak). Etkili bir şekilde sadece tahmin için modelin "sentetik" veya sabit kısmını kullanıyorsunuz.
probabilityislogic

probabilityislogic / Ting Qian, şimdi bu sorunla güreşiyorum ve örnek dışı efektleri 0 olarak nasıl belirttiğinizi görmek istiyorum. Cevabınızı burada düzenlemek ve R kodunu göstermek mümkün mü? Teşekkürler!
Pradeep Babu

Yanıtlar:


3

Fang (2011) , karma modellere uygulanan AIC ile bir küme bırakma çapraz doğrulaması arasında asimtotik denklik göstermiştir. Muhtemelen bu, inceleyicinizi tatmin edecek ve AIC'yi istedikleri için hesaplaması daha kolay bir yaklaşım olarak hesaplamanıza izin verecek mi?


Teşekkürler! Bu faydalı görünüyor. Aslında BIC'yi zaten hesaplamıştık, ancak gözden geçiren çapraz doğrulama sonuçlarını görmek istiyor. ;-) Elimizdeki veri kümelerinin bazıları nispeten küçük. Böylece, böyle asimptotik davranışın beklenmediği iddiası ortaya çıkabilir. Ama evet, BIC sonuçlarını sunduğumuzda Fang (2011) 'i kesinlikle gösterebiliriz, çünkü AIC ve BIC de asemptotik olarak eşdeğerdir?
Ting Qian

2
Temelde farklı soruları cevaplamaya çalıştıklarından AIC ve BIC'nin asimptotik olarak eşdeğer olduğuna inanmıyorum. Bkz: stats.stackexchange.com/questions/577/…
Mike Lawrence

Ve AIC & BIC'in
Mike Lawrence

0

Colby ve Bair (2013), doğrusal olmayan karma efekt modellerine uygulanabilecek bir çapraz validasyon yaklaşımı geliştirmişlerdir. Daha fazla bilgi edinmek için bu bağlantıyı ziyaret edebilirsiniz .


1
Crossvalidated'a hoş geldiniz. Lütfen cevabınıza daha fazla bilgi ekleyin. Belki makalenin en önemli kısımlarını özetleyebilirsiniz.
Ferdi
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.