Lojistik regresyonda atlanan değişken sapma ile sıradan en küçük kareler regresyonunda atlanan değişken sapma

Lojistik ve lineer regresyonda atlanan değişken önyargı hakkında bir sorum var.

Diyelim ki bazı değişkenleri doğrusal regresyon modelinden çıkarıyorum. Atlanan değişkenlerin modelime dahil ettiğim değişkenlerle ilgisiz olduğunu varsayalım. Bu atlanan değişkenler, modelimdeki katsayıları etkilemez.

Ancak lojistik regresyonda bunun doğru olmadığını öğrendim. Atlanan değişkenler, dahil edilen değişkenlerle katsayıları saptırır; atlanan değişkenler, dahil edilen değişkenlerle ilişkilendirilmemiş olsa bile. Bu konuda bir makale buldum, ancak bunun başını veya kuyrukunu yapamıyorum.

İşte kağıt ve bazı powerpoint slaytları.

Önyargı, görünüşe göre, daima sıfıra doğrudur. Herkes bunun nasıl çalıştığını açıklayabilir mi?

— ConfusedEconometricsUndergrad
kaynak

Lojistik regresyon modelinin temeldeki "gizli değişken" doğrusal regresyon modelinden nasıl ortaya çıktığını biliyor musunuz?

— Alecos Papadopoulos

@AlecosPapadopoulos Ben biri için değilim. Yemek nedir?

— Alexis

Bunu tartışan başka makaleler de var, ancak bağlandığınız en kolayı. Yani geliştirebileceğimi sanmıyorum.

— Maarten Buis

Sevgili Bay Papadopoulos: Gizli değişken fikri okudum. Neden soruyorsun?

— ConfusedEconometricsUndergrad

@ Alexis Bkz. Örneğin bu yazı, stats.stackexchange.com/questions/80611/… ve wikipedia makalesi, en.wikipedia.org/wiki/… . Bu yaklaşım, Olasılıklar düzeyinde hangi modeli alacağımızı belirleyen temel modelin hata döneminde yaptığımız varsayım olduğunu da açıklığa kavuşturmaktadır. Başka bir örnek olarak, altta yatan hatanın bir üniforma takip ettiğini varsayarsak, Doğrusal Olasılık Modelini elde ederiz, bkz. Stats.stackexchange.com/questions/81789

— Alecos Papadopoulos

Eğer “probit” modelini incelersek “zayıflama yanlılığı” durumu daha net bir şekilde ortaya konabilir, ancak sonuç lojistik regresyona da yansır.

Koşullu Olasılık Modelleri (Lojistik (logit), "probit" ve "Doğrusal Olasılık" modelleri) altında gizli (gözlemlenemeyen) bir doğrusal regresyon modeli önerebiliriz:

y^{*} = X β + u

$y^* = X\beta + u$

burada sürekli ölçülemez bir değişkendir (ve regresör matrisidir). Hata teriminin regresörlerden bağımsız olduğu ve yoğunluğu sıfır civarında simetrik olan bir dağılımı ve bizim durumumuzda standart normal dağılım olduğu varsayılmaktadır . $y^*$ $X$ $F_U(u)= \Phi(u)$

Gözlemlediğimiz şeyin, yani ikili değişken , gözlemlenemez nin bir Gösterge işlevi olduğunu varsayıyoruz : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

Sonra soruyoruz " değeri alma olasılığı nedir $y$ regresörler göz önüne alındığındanedir?" (yani koşullu bir olasılığa bakıyoruz). Bu $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

yoğunluk dağılımının simetrisinden sıfıra yakın olan standart kümülatif dağılım fonksiyonunun "yansıtıcı" özelliğinden dolayı son eşitlik. Biz farz olmasına rağmen Not o bağımsızdır , üzerinde iklimlendirme miktar tedavi etmek amacıyla ihtiyaç duyulan $u$ $X$ $X$ tesadüfi olmayan şekilde. $X\beta$

olduğunu varsayarsak $X\beta = b_0+b_1X_1 + b_2X_2$ , teorik modeli elde ederiz.

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

Let hemen be bağımsız ve hatalı altta yatan regresyon tarifname dışındadır. Bu yüzden $X_2$ $X_1$

daha ileri varsayalım , aynı zamanda, normal bir rastgele değişken . Ama bu şu anlama geliyor

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

Normal dağılımın (ve bağımsızlık varsayımının) eklenmesi nedeniyle kapanma nedeniyle. Öncekiyle aynı mantığı uygulayarak, burada

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

Standartlaştırma $\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

and one can compare models $(1)$ and $(2)$ .

The above theoretical expression, tells us where our maximum likelihood estimator of $b_1$ is going to converge, since it remains a consistent estimator, in the sense that it will converge to the theoretical quantity that really exists in the model (and of course, not in the sense that it will find the "truth" in any case):

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

which is the "bias towards zero" result.

We used the probit model, and not the logit (logistic regression), because only under normality can we derive the distribution of $\epsilon$ . The logistic distribution is not closed under addition. This means that if we omit a relevant variable in logistic regression, we also create distributional misspecification, because the error term (that now includes the omitted variable) no longer follows a logistic distribution. But this does not change the bias result (see footnote 6 in the paper linked to by the OP).

— Alecos Papadopoulos
kaynak