Lojistik Regresyon - Hata Terimi ve Dağılımı

Lojistik regresyonda (ve varsayılan dağılımı) bir hata teriminin bulunup bulunmadığı üzerine, çeşitli yerlerde okudum:

1. hata terimi yok
2. hata terimi binom dağılımına sahiptir (cevap değişkeninin dağılımına göre)
3. Hata terimi lojistik bir dağılıma sahip

Birisi lütfen netleşebilir mi?

Doğrusal regresyonda gözlemlerin, yordayıcı değerlerine koşullu ortalama bir parametreye sahip bir Gauss dağılımını takip ettiği varsayılmaktadır. Gözlemlerden ortalamayı çıkarırsanız, hatayı alırsınız. : ortalama sıfıra sahip bir Gauss dağılımı, & tahmin değerlerinden bağımsız - herhangi bir tahmin değeri kümesindeki hatalar aynı dağılımı izler.

Lojistik regresyon gözlemlerinde , tahmin değerlerine bağlı olan ortalama bir parametre (olasılık) olan bir Bernoulli dağılımını ^† takip ettiği varsayılır . Yani ortalama belirleyen herhangi bir belirleyicisi değerleri için TT : orada sadece iki olası hatalardır 1 - π olasılığı ile meydana gelen tt , ve 0 - π olasılık ile ortaya çıkan 1 - tt . Diğer tahmini değerleri için hatalar olacaktır 1 - π ' olasılık ile ortaya çıkan tt $y\in\{0,1\}$$\pi$$1-\pi$$\pi$$0-\pi$$1-\pi$$1-\pi'$$\pi'$, & olasılıkla birlikte ortaya çıkan 1 - π $0-\pi'$$1-\pi'$ . Dolayısıyla, yordayıcı değerlerinden bağımsız olarak ortak bir hata dağılımı yoktur, bu yüzden insanlar "hata terimi yoktur" der (1).

"Hata terimi binom dağılımına sahiptir" (2) sadece dikkatsizliktir - "Gauss modellerinde Gauss hataları vardır, ergo binom modellerinde binom hataları var". (Veya @whuber'ın işaret ettiği gibi, "gözlem ile beklenti arasındaki farkın beklenti tarafından çevrilmiş binom dağılımına sahip olduğu" anlamına gelebilir.)

"Hata terimi bir lojistik dağılıma sahiptir" (3), bir lojistik dağılımın ardından hatalı bir gizli değişkenin bir eşik değeri aşıp aşmadığını gözlemlemek için modelden lojistik regresyonunun türetilmesinden kaynaklanmaktadır. Yani yukarıda tanımlanan aynı hata değil. (IMO'yu bu bağlamın dışında veya gizli değişkene açıkça atıfta bulunmadan söylemek garip bir şey olabilir.)

Eğer varsa † aynı olasılık vererek aynı belirleyici değerlerle gözlemleri tt her biri için, o zaman bunların toplamı Σ y olasılık ile bir binom dağılımını izler tt ve hayır. denemeler k . Düşünüldüğünde Σ y - k tt aynı sonuca hata potansiyel müşteriler gibi.$k$$\pi$$\sum y$$\pi$$k$$\sum y -k\pi$

Bu daha önce ele alındı. de öngörülen değerlere sahip olması ile sınırlandırılmış bir model , tahminlerin [ 0 , 1 ] dışına çıkmasına neden olacak ek bir hata terimine sahip olamaz . İkili bir lojistik modelin en basit örneğini düşünün - sadece bir kesişme içeren bir model. Bu, Bernoulli'nin tek örnekli problemine eşdeğerdir, genellikle (bu basit durumda) binom problemi olarak adlandırılır, çünkü (1) tüm bilgiler örneklem büyüklüğü ve olay sayısında bulunur veya (2) Bernoulli dağılımı özel bir durumdur. n = 1 ile binom dağılımının dağılımı$[0,1]$$[0,1]$$n=1$. Bu durumda ham veriler ikili değerlerin bir dizi vardır ve her bilinmeyen parametresi olan bir Bernoulli dağılımı vardır olayın olasılığını temsil eder. Bernoulli dağılımında hata terimi yoktur, sadece bilinmeyen bir olasılık vardır. Lojistik model bir olasılık modelidir.$\theta$

Bana göre, lojistik, doğrusal, poisson regresyonu vb. Sürekli veriler için normal, dikloram için Bernoulli, sayılar için Poisson, vb. Verilerimiz için olasılık dağılımını belirleyerek başlıyoruz.

$g(\mu_i) = \alpha + x_i^T\beta$

Doğrusal regresyon için, .$g(\mu_i) = \mu_i$

Lojistik regresyon için, .$g(\mu_i) = \log(\frac{\mu_i}{1-\mu_i})$

Poisson regresyonu için .$g(\mu_i) = \log(\mu_i)$

Bir hata terimi yazmak konusunda düşünebilecek tek şey şunu belirtmek olacaktır:

burada D ( E i ) = 0 ve V , bir R ( e i ) = σ 2 ( μ i ) . Örneğin, lojistik regresyon için, σ 2 ( μ i ) = μ i ( 1 - μ i ) $y_i = g^{-1}(\alpha+x_i^T\beta) + e_i$$E(e_i) = 0$$Var(e_i) = \sigma^2(\mu_i)$ . Ama, açıkça ifade edemez e ı yukarıda da belirtildiği gibi bir Bernoulli dağılımına sahiptir.$\sigma^2(\mu_i) = \mu_i(1-\mu_i) = g^{-1}(\alpha+x_i^T\beta)(1-g^{-1}(\alpha+x_i^T\beta))$$e_i$

$e_i$

1. Hata yok. Ortalamayı modelliyoruz! Ortalama sadece gerçek bir sayıdır.
2. Bu bana mantıklı gelmiyor.
3. Yanıt değişkenini gizli bir değişken olarak düşünün. Hata teriminin normal olarak dağıtıldığını varsayarsanız, model bir probit model haline gelir. Hata teriminin dağılımının lojistik olduğunu varsayarsanız, model lojistik regresyondur.