Lojistik regresyon için güven aralıklarının hesaplanması

Ben maruz kalma has_xveya has_ybir kullanıcının bir şey tıklama olasılığını etkiler belirlemek için bir binom lojistik regresyon kullanıyorum . Modelim şu şekildedir:

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

Bu benim modelden çıktı:

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

Her katsayı önemli olduğundan, bu modeli kullanarak bu kombinasyonlardan herhangi birinin değerinin aşağıdaki yaklaşımı kullandığını söyleyebilirim:

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

Std hakkında nasıl rapor verebileceğimi anlamıyorum. Tahmin hatası.

1. Sadece kullanmam gerekiyor mu? Yoksa burada tarif edilen bir yaklaşımı kullanarak dönüştürmem gerekir mi?S $1.96*SE$$SE$

2. Her iki değişken için de standart hatayı anlamak istersem bunu nasıl değerlendirebilirim?

Bu sorunun aksine , hatanın üst ve alt sınırlarının yüzde olarak ne olduğunu anlamakla ilgileniyorum. Örneğin, tahminim değerini gösteriyor True,True, bunun için olduğunu hesaplayabilir miyim ? (% 0.3 benim fikrimi göstermek için seçildi)95 % Cı $+/- 0.3%$$95\% CI$

Sorunuz, ilk başta kafa karıştırıcı olan Oranlar ve Olasılıklarla uğraştığınızdan kaynaklanabilir. Lojistik model hesaplamasının doğrusal olmayan bir dönüşümü olduğundan , güven aralıkları o kadar basit değildir.$\beta^Tx$

Arka fon

Lojistik regresyon modeli için şunu hatırlayın

• Olasılık ve :$(Y = 1)$$p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$

• Oran arasında :$(Y = 1)$$\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$

• in Günlük Oranları :$(Y = 1)$$\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

değişkeninde bir birim artış ( ör. olduğu durumu düşünün, yeni oranlar$x_1$$x_1 + 1$

$$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$$

• Odds Ratio (OR) bu nedenle vardır

$$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$$

• Günlük Oran Oranı = $\beta_1$

• Göreceli risk veya (olasılık oranı) =$\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

Yorumlama katsayıları

katsayı değerini nasıl yorumlardınız ? Diğer her şeyin sabit kaldığını varsayarsak:$\beta_j$

• her birim artış için log-odds oranı .$x_j$$\beta_j$
• her birim artış için olasılık oranı .$x_j$$e^{\beta_j}$
• Her artış için gelen için ile olasılık oranı artar$x_j$$k$$k + \Delta$$e^{\beta_j \Delta}$
• Katsayı negatifse, bir artış , oran oranında bir azalmaya yol açar.$x_j$

Tek bir parametre için güven aralıkları$\beta_j$

Sadece kullanmam gerekiyor mu? Yoksa burada tarif edilen bir yaklaşımı kullanarak SE'yi dönüştürmem gerekir mi?$1.96∗SE$

parametresi Maxiumum Olabilirlik Tahmini kullanılarak tahmin edildiğinden, MLE teorisi bize asimptotik olarak normal olduğunu söyler ve bu nedenle normal örnek almak için büyük örnek Wald güven aralığını kullanabiliriz$\beta_j$

$$\beta_j \pm z^* SE(\beta_j)$$

Hangi log-odds oranı güven aralığı verir. değişmezlik özelliğini kullanmak,

$$e^{\beta_j \pm z^* SE(\beta_j)}$$

Bu oranlar konusunda bir güven aralığıdır. Bu aralıkların yalnızca tek bir parametre için olduğunu unutmayın.

Her iki değişken için de standart hatayı anlamak istersem bunu nasıl değerlendirebilirim?

Birkaç parametre eklerseniz Bonferroni prosedürünü kullanabilirsiniz, aksi takdirde tüm parametreler için olasılık tahminleri için güven aralığını kullanabilirsiniz

Çeşitli parametreler için Bonferroni prosedürü

Eğer parametreleri yaklaşık aile güven katsayısı ile tahmin edilecek olan , eklem Bonferroni güven sınırları$g$$1 - \alpha$

$$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$$

Olasılık tahminleri için güven aralıkları

Lojistik modeli, bir gözleme olasılık tahminini verir ve gerçek olasılığının bir frequentist aralığı oluşturmak amacı şekildeP r ( p L ≤ p ≤ $p$$Pr(p_{L} \leq p \leq p_{U}) = .95$

Uç nokta dönüşümü adı verilen bir yaklaşım şunları yapar:

• (Wald CI kullanarak) doğrusal kombinasyonu için güven aralığının üst ve alt sınırlarını hesaplayın$x^T\beta$
• Olasılıkları elde etmek için uç noktalarına monotonik bir dönüşüm uygulayın .$F(x^T\beta)$

Yana bir tekdüze dönüşümü$Pr(x^T\beta) = F(x^T\beta)$$x^T\beta$

$$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$$

Somut olarak bu, hesaplanması ve ardından alt ve üst sınırları elde etmek için sonuca logit dönüşümünün uygulanması anlamına gelir :$\beta^Tx \pm z^* SE(\beta^Tx)$

$$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$$

tahmini yaklaşık varyansı, kullanılarak regresyon katsayılarının kovaryans matrisi kullanılarak hesaplanabilir$x^T\beta$

$$Var(x^T\beta) = x^T \Sigma x$$

Bu yöntemin avantajı, sınırların aralık dışında olmamasıdır$(0,1)$

Her birinin kendi varsayımları, avantajları ve sınırları olan delta yöntemini, önyükleme vb. Kullanarak başka yaklaşımlar da vardır.

---

Kaynaklar ve bilgi

Bu konuda en sevdiğim kitap Kutner, Neter, Li, Bölüm 14'ün "Uygulamalı Doğrusal İstatistiksel Modeller"

Aksi takdirde birkaç çevrimiçi kaynak vardır:

• https://mheaton.byu.edu/Courses/Stat330/InClassAnalyses/8%20-%20Tennis/LectureNotes/LogisticRegression.pdf
• Lojistik regresyondan tahmin edilen olasılıklar için güven aralıklarının çizilmesi
• /programming/47414842/confidence-interval-of-probability-prediction-from-logistic-regression-statsmode
• http://www.indiana.edu/~jslsoc/stata/ci_computations/xulong-prvalue-23aug2005.pdf
• http://courses.education.illinois.edu/EdPsy589/lectures/5logreg_beamer-online.pdf

Tahminin% 95 güven aralığını elde etmek için logit ölçeğinde hesaplayabilir ve daha sonra bunları 0-1 olasılık ölçeğine dönüştürebilirsiniz. İşte titanik veri kümesini kullanan bir örnek.

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

Ortalama ve düşük / yüksek% 95 CI.

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243 

Ve sadece kullanmanın sonucu type='response',

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556