Bir ikili bağımlı değişken ve sadece bir sabit ve bir ikili regresör ile basit ikili lojistik regresyon modelini düşünün .
burada \ Lambda lojistik cdf, \ Lambda (u) = \ left [1+ \ exp \ {- u \} \ right] ^ {- 1} .T
Pr(Yi=1∣Ti=1)=Λ(α+βTi)
ΛΛ(u)=[1+exp{−u}]−1
Logit formunda
ln(Pr(Yi=1∣Ti=1)1−Pr(Yi=1∣Ti=1))=α+βTi
boyutunda bir örneğiniz var . Göstermek gözlem sayısı ve bu ve . Aşağıdaki tahmini koşullu olasılıkları göz önünde bulundurun:nn1Ti=1n0Ti=0n1+n0=n
Pr^(Y=1∣T=1)≡P^1|1=1n1∑Ti=1yi
Pr^(Y=1∣T=0)≡P^1|0=1n0∑Ti=0yi
Daha sonra bu çok temel model ML tahmincisi için kapalı form çözümleri sunar:
α^=ln(P^1|01−P^1|0),β^=ln(P^1|11−P^1|1)−ln(P^1|01−P^1|0)
ÖNYARGI
Her ne kadar ve gelen olasılıklar tarafsız tahmincisi doğrusal olmayan logaritmik fonksiyon daha karmaşık modeller ne yolu -imagine alır çünkü Mles, önyargılı edilir , daha yüksek doğrusallık derecesi ile.P^1|1P^1|0
Ancak asimptotik olarak, olasılık tahminleri tutarlı olduğu için önyargı ortadan kalkar. Doğrudan operatörünü beklenen değerin ve logaritmanın içine yerleştirerek
lim
limn→∞E[α^]=E[ln(limn→∞P^1|01−P^1|0)]=E[ln(P1|01−P1|0)]=α
ve benzer şekilde . β
MLE'NİN VARYANS-KOVARYANS MATRİSİ
Tahmin ediciye kapalı form ifadeler sağlayan yukarıdaki basit durumda, en azından prensipte, kesin sonlu örnek dağılımını devam ettirebilir ve daha sonra kesin sonlu varyans-kovaryans matrisini hesaplayabilir . Ancak genel olarak, MLE'nin kapalı bir form çözümü yoktur. Sonra MLE'de değerlendirilen örneğin log-olasılık fonksiyonunun Hessianının tersi olan (negatif) asimptotik varyans-kovaryans matrisinin tutarlı bir tahminine başvuruyoruz . Ve burada "keyfi bir seçim" yoktur, ancak asimptotik teoriden ve (tutarlılık ve asimtotik normallik) asimptotik özelliklerinden kaynaklanır, bu da bize ,
θ0=(α,β)
n−−√(θ^−θ0)→dN(0,−(E[H])−1)
burada , Hessyan'dır. Yaklaşık ve (büyük) sonlu numuneler için bu biziH
Var(θ^)≈−1n(E[H])−1≈−1n(1nH^)−1=−H^−1