Lojistik regresyon için maksimum olabilirlik tahmin edicilerinin yanlılığı


10

Lojistik regresyonlar için maksimum olabilirlik tahmin edicileri (MLE'ler) hakkında birkaç gerçeği anlamak istiyorum.

  1. Genel olarak, lojistik regresyon için MLE'nin taraflı olduğu doğru mu? Evet derim". Örneğin, örneklem boyutunun MLE'lerin asimtotik eğilimi ile ilişkili olduğunu biliyorum.

    Bu fenomenin temel örneklerini biliyor musunuz?

  2. MLE önyargılıysa, MLE'lerin kovaryans matrisinin, Hessian'ın maksimum olabilirlik fonksiyonunun tersi olduğu doğru mu?

    edit : Bu formül oldukça sık ve herhangi bir kanıt olmadan tanıştım; benim için oldukça keyfi bir seçim gibi görünüyor.

Yanıtlar:


15

Bir ikili bağımlı değişken ve sadece bir sabit ve bir ikili regresör ile basit ikili lojistik regresyon modelini düşünün . burada \ Lambda lojistik cdf, \ Lambda (u) = \ left [1+ \ exp \ {- u \} \ right] ^ {- 1} .T

Pr(Yi=1Ti=1)=Λ(α+βTi)
ΛΛ(u)=[1+exp{u}]1

Logit formunda

ln(Pr(Yi=1Ti=1)1Pr(Yi=1Ti=1))=α+βTi

boyutunda bir örneğiniz var . Göstermek gözlem sayısı ve bu ve . Aşağıdaki tahmini koşullu olasılıkları göz önünde bulundurun:nn1Ti=1n0Ti=0n1+n0=n

Pr^(Y=1T=1)P^1|1=1n1Ti=1yi

Pr^(Y=1T=0)P^1|0=1n0Ti=0yi

Daha sonra bu çok temel model ML tahmincisi için kapalı form çözümleri sunar:

α^=ln(P^1|01P^1|0),β^=ln(P^1|11P^1|1)ln(P^1|01P^1|0)

ÖNYARGI

Her ne kadar ve gelen olasılıklar tarafsız tahmincisi doğrusal olmayan logaritmik fonksiyon daha karmaşık modeller ne yolu -imagine alır çünkü Mles, önyargılı edilir , daha yüksek doğrusallık derecesi ile.P^1|1P^1|0

Ancak asimptotik olarak, olasılık tahminleri tutarlı olduğu için önyargı ortadan kalkar. Doğrudan operatörünü beklenen değerin ve logaritmanın içine yerleştirerek lim

limnE[α^]=E[ln(limnP^1|01P^1|0)]=E[ln(P1|01P1|0)]=α

ve benzer şekilde . β

MLE'NİN VARYANS-KOVARYANS MATRİSİ
Tahmin ediciye kapalı form ifadeler sağlayan yukarıdaki basit durumda, en azından prensipte, kesin sonlu örnek dağılımını devam ettirebilir ve daha sonra kesin sonlu varyans-kovaryans matrisini hesaplayabilir . Ancak genel olarak, MLE'nin kapalı bir form çözümü yoktur. Sonra MLE'de değerlendirilen örneğin log-olasılık fonksiyonunun Hessianının tersi olan (negatif) asimptotik varyans-kovaryans matrisinin tutarlı bir tahminine başvuruyoruz . Ve burada "keyfi bir seçim" yoktur, ancak asimptotik teoriden ve (tutarlılık ve asimtotik normallik) asimptotik özelliklerinden kaynaklanır, bu da bize , θ0=(α,β)

n(θ^θ0)dN(0,(E[H])1)

burada , Hessyan'dır. Yaklaşık ve (büyük) sonlu numuneler için bu biziH

Var(θ^)1n(E[H])11n(1nH^)1=H^1
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.