Lojistik regresyonların özellikleri

Bazı lojistik regresyonlarla çalışıyoruz ve ortalama tahmini olasılığın her zaman örnekteki orana eşit olduğunu fark ettik; yani, takılan değerlerin ortalaması numunenin ortalamasına eşittir.

Bu gösteriyi bulabileceğim biri bana nedenini açıklayabilir veya referans verebilir mi?

— Gabi Foix
kaynak

Bunun nedeni, lojistik regresyonun tam olarak bunu başarmaya çalışmasıdır: önceki olasılıklar da dahil olmak üzere veri dağılımının modellenmesi ("ortalamalar"). Bu davranış istenmeyen mi?

— bayerj

@bayer Link işlevinin doğrusal olmayışı, bu fenomenin karakterizasyonunuzdan daha derin olduğunu gösterir. Gerçekten burada gösterilecek bir şey var.

— whuber

Risk regresyonu için lojistik regresyon kullanıldığında bu özelliğe bazen büyük kalibrasyon denir.

— julieth

Gözlemlediğiniz davranış, lojistik regresyondaki "tipik" durumdur, ancak her zaman doğru değildir . Aynı zamanda çok daha genel bir yapıya sahiptir (aşağıya bakınız). Üç ayrı gerçeğin birleşmesinin sonucudur.

Log-olasılıkların öngörücülerin doğrusal bir fonksiyonu olarak modellenmesi,
Lojistik regresyon modelindeki katsayıların tahminlerini elde etmek için maksimum olasılığın kullanılması ve
Modelde bir kesme noktasının yer alması.

Yukarıdakilerden herhangi biri yoksa, ortalama tahmini olasılıklar genellikle numunedeki oranlarla eşleşmez.

Bununla birlikte, (neredeyse) tüm istatistiksel yazılımlar, bu tür modeller için maksimum olabilirlik tahmini kullanır, bu nedenle, uygulamada, 1 ve 2 maddeleri esasen her zaman mevcuttur ve özel durumlar dışında genellikle 3. madde mevcuttur.

Bazı detaylar

Tipik lojistik regresyon çerçevesinde, olasılığı olan bağımsız binom çalışmalarının sonuçlarını . Let gözlemlenen tepkiler olabilir. O zaman toplam olasılık ve dolayısıyla günlük olabilirliği $p_i$ $y_i$

L = \prod_{i = 1}^{n} p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}} = \prod_{i = 1}^{n} \exp (y_{i} \log (p_{i} / (1 - p_{i})) + \log (1 - p_{i})),

$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$

ℓ = \sum_{i = 1}^{n} y_{i} \log (p_{i} / (1 - p_{i})) + \sum_{i = 1}^{n} \log (1 - p_{i}) .

$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$

Şimdi, her gözlem için bir belirteçleri vektörünüz var ve yukarıdaki Gerçek 1'den, lojistik regresyon modeli bazı bilinmeyen parametre vektörleri için . Not : Bunu yeniden düzenleyerek, elde ederiz . $\newcommand{\x}{\mathbf x}\x_i$

\log \frac{p_{i}}{1 - p_{i}} = β^{T} x_{i},

$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$

β

$\beta$

p_{i} = 1 / (1 + e^{- β^{T} x_{i}})

$p_i = 1/(1+e^{-\beta^T \x_i})$

Modele sığma olasılığının en üst düzeyde kullanılması (Gerçek 2), dikkate alınarak çözülmesi gereken bir dizi denklem verir . Gözlemleyin log-odds ve öngörücüler arasında varsayılan doğrusal ilişkiyi kullanarak. Bu, MLE'nin dönüşümler altında değişmez olduğu için MLE yi karşıladığı için bu durumda. $\partial \ell / \partial \beta = 0$

\frac{\partial ℓ}{\partial β} = \sum_{i} y_{i} x_{i} - \sum_{i} \frac{x_{i}}{1 + \exp (- β^{T} x_{i})} = \sum_{i} y_{i} x_{i} - \sum_{i} p_{i} x_{i},

$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$

\sum_{i} y_{i} x_{i} = \sum_{i} {\hat{p}}_{i} x_{i},

$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$

{\hat{p}}_{i} = (1 + \exp (- {\hat{β}}^{T} x_{i}))^{- 1}

$\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$

Eğer, Gerçek kullanma 3 bir bileşene sahip her için her zaman 1 olduğu , o ve pozitif tepkiler ampirik oranı eşleşecek şekilde uygun olasılıkların ortalaması. $\x_i$ $j$ $i$ $\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$

Bir simülasyon

Bir müdahalenin dahil edilmesi önemlidir. Burada, gözlemlenen davranışın modelde herhangi bir kesinti olmadığında ortaya çıkmayabileceğini gösteren bir örnek verilmiştir . $R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

Genel durum : Yukarıda belirtildiği gibi, ortalama tepkinin ortalama tahmini ortama eşit olması özelliği, kanonik bağlantı fonksiyonunu kullanarak ve kanonik bağlantı fonksiyonunu kullanarak genel olasılığa uygun genelleştirilmiş doğrusal modeller sınıfı için çok daha fazla genelliğe sahiptir. modeli.

Referanslar

İlişkili teori için bazı iyi referanslar şunlardır.

A. Agresti (2002), Kategorik Veri Analizi , 2. Baskı, Wiley.
McCullagh ve JA Nelder (1989), Genelleştirilmiş Doğrusal Modeller , 2. Baskı, Chapman & Hall. (Özgün yazarlardan genel yöntemlerin metni.)

— kardinal
kaynak

+1 Bu gösteri (tüm GLM'lere genelleme yapmaya çalışmadan lojistik regresyon modeline özgü) Maddala'da (1983) Ekonometride Sınırlı Bağımlı ve Nitel Değişkenler , s. 25-26'da verilmiştir .

— StasK

@StasK: Bildiğim ek referans için teşekkürler. Şerefe.

— kardinal

@cardinal: Agresti'nin bunu tartıştığını hatırlamıyorum. McCullagh ve Nelder'de tartışıldı mı?

— julieth