Firth Lojistik Regresyonunu Kuramsal Olarak Anlamak

Firth lojistik regresyonunu (lojistik regresyonda mükemmel / tam veya yarı-tam ayrımı ele alma yöntemi) anlamaya çalışıyorum, böylece basitleştirilmiş terimlerle başkalarına açıklayabilirim. Herkes Firth tahmininin MLE'de yaptığı değişikliğin açık bir açıklaması var mı?

En iyi şekilde Firth (1993) 'i okudum ve puan fonksiyonuna bir düzeltme uygulandığını anlıyorum. Ben düzeltmenin kökeni ve gerekçesi ve MLE'de puan işlevinin oynadığı rol hakkında bulanıkım.

Bu temel bilgi ise özür dilerim. İncelediğim literatür, MLE'nin sahip olduğumdan çok daha derin bir anlayış gerektiriyor gibi görünüyor.

logistic maximum-likelihood separation

— ESmith5988
kaynak

Firth'ın düzeltmesi, Jeffrey'in öncekini belirtmek ve posterior dağılım modunu aramakla eşdeğerdir. Kabaca, regresyon parametrelerinin gerçek değerlerinin sıfıra eşit olduğu varsayılarak veri kümesine bir gözlemin yarısını ekler.

$\hat \theta_n \approx \theta_0$ $\theta_0$ $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$

$o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$

— StasK
kaynak

Anlamadığım için üzgünüm, ama tam olarak takip etmiyorum. "Kabaca, regresyon parametrelerinin gerçek değerlerinin sıfıra eşit olduğu varsayılarak, veri kümesine bir gözlemin yarısını ekler. Neden regresyon parametrelerinin gerçek değerlerinin sıfıra eşit olduğunu varsayalım? Ayrıca, veri kümesine yarım gözlem nasıl eklenir?

— ESmith5988

Açıklamanızın geri kalanından, olasılık işlevinin, küçük numunelerin pozitif yanlılığını azaltan sabit bir miktarla ayarlandığı görülmektedir. Sabit miktar, numune boyutu arttıkça sıfıra giden bilginin etkin bir fonksiyonudur, değil mi?

— ESmith5988

İlk yorumunuzda - Firth düzeltmesi, yaklaşık 1/2 etkili bir ağırlığa sahip olacak bir gözlemle eklenecek olasılığa bir katkının beklenen değeridir. Bu, neden bunu yapmak istediğinize dair sezgiden bağımsız olarak hiçbir şekilde doğru açıklama değildir; sadece size lezzet verir. Katsayıları sıfıra ayarlarsınız çünkü sayıların ne olacağına dair daha iyi bir fikriniz yoktur (ve sıfır katsayılar çoğu zaman anlamlı olan regresörlerin hiçbir etkisine karşılık gelmez). İkinci yorumunuzda - doğru.

— StasK