Firth lojistik regresyon ile model seçimi

Çalıştığım küçük bir veri setinde ( ) birkaç değişken bana mükemmel bir öngörü / ayrılık verir . Bu yüzden , konuyla ilgilenmek için Firth lojistik regresyon kullanıyorum . $n\sim100$

En iyi modeli AIC veya BIC ile seçersem , bu bilgi kriterlerini hesaplarken olasılığa Firth cezasını da dahil etmeli miyim?

— StasK
kaynak

Değişken seçimi "çok fazla değişken, çok az örneklem büyüklüğü" problemine yardımcı olmadığından neden kaçınılmaz olduğunu açıklar mısınız?

— Frank Harrell

Bu olabildiğince kötü.

— Frank Harrell

Bunu bir Bayesci çıkarım problemi olarak değerlendirmeyi düşündün mü? Firth logistic regresyon, daha önce jeffrey ile MAP'a eşdeğerdir. Sen kullanabilirsiniz tamamen Laplace yaklaşımı için değerlendirebilecek marjinal olasılıklarının - Bir düzeltilmiş BIC gibi (Aicc benzer) 'dir

— probabilityislogic

@ user, Bu tür değişkenler genellikle sadece bir avuç durumu öngörür ve bu yeniden üretilemezdir: bu hücre için gerçek olasılık% 90'a yakın olabilir, ancak bu iki vaka ile zamanın% 81'ini alırsınız .

— StasK

Bağlantı, Google Akademik’te bulunan K&K (1996) makalesini indirmek için bağlantı, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Alecos Papadopoulos

Eğer BIC kullanımını haklı isterseniz: Eğer örneklem büyüklüğü olarak sınırda (asimptotik geçerli kalır maksimum a posteriori (MAP) tahmin ve ortaya çıkan 'BIC' tipi kriterine maksimum olasılığını değiştirebilir $n \to \infty$

p_{y} (y) = \int L (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$ . Böylece öncekini görmezden gelir, ancak ikincisinin etkisi, bilgi olasılığı arttıkça ortadan kalkar.

Bir yan açıklama olarak, Firth regresyonu üstel ailelerde birinci dereceden önyargıyı da ortadan kaldırıyor.

— lbelzile
kaynak