12

Lojistik regresyonda elde edilen katsayılardan olasılık oranı için% 95 güven aralığının nasıl oluşturulacağını araştırıyorum. Dolayısıyla lojistik regresyon modeli göz önüne alındığında,

günlük (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

öyle ki kontrol grubu için $x = 0$ ve vaka grubu için $x = 1$ .

Zaten \ en basit yol için% 95 CI oluşturmak olduğunu okudum $\beta$ sonra üstel fonksiyonu uyguladık, yani,

\hat{β} \pm 1.96 x S E (\hat{β}) \to tecrübe {\hat{β} \pm 1.96 x S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Sorularım:

Bu prosedürü haklı çıkaran teorik neden nedir? $\mbox{odds ratio} = \exp\{\beta\}$ ve maksimum olabilirlik tahmin edicilerinin değişmez olduğunu biliyorum . Ancak, bu unsurlar arasındaki bağlantıyı bilmiyorum.
Delta yöntemi, önceki prosedürle aynı% 95 güven aralığını üretmeli mi? Delta yöntemini kullanarak,

$tecrübe {\hat{β}} \dot{~} N- (β, tecrübe {β}^{2} V bir r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Sonra,

$tecrübe {\hat{β}} \pm 1.96 x \sqrt{tecrübe {β}^{2} V bir r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Değilse, en iyi prosedür hangisidir?

— Márcio Augusto Diniz
kaynak

1

Parametre değerleri veya yeterli büyüklükte eğitim verileri varsa, CI için bootstrap'i de seviyorum.

— EngrStudent

2

Bunu yapmanın daha iyi bir yolu, bkz yoktur stats.stackexchange.com/questions/5304/... detayları için

— mdewey

7

Prosedür için gerekçe, MLE'nin için asimptotik normalliktir ve Merkezi Limit Teoremini içeren argümanların sonucudur. $\beta$
Delta yöntemi, MLE çevresindeki fonksiyonun doğrusal (yani birinci dereceden Taylor) genişlemesinden gelir. Daha sonra MLE'nin asimtotik normallerine ve tarafsızlığına başvuruyoruz.

Asimptotik olarak her ikisi de aynı cevabı verir. Ama pratikte, daha normal görünen olanı tercih edersiniz. Bu örnekte, ilkini tercih ederim çünkü ikincisinin daha az simetrik olması muhtemeldir.

— emir
kaynak

3

ISL örneğindeki güven aralığı yöntemlerinin karşılaştırılması

Tibshirani, James, Hastie'nin "İstatistiksel Öğrenmeye Giriş" kitabı , 267. sayfadaki ücret verilerindeki polinom lojistik regresyon derecesi 4 için güven aralıklarına bir örnek sunmaktadır . Kitaptan alıntı:

Derece 4 polinomlu lojistik regresyon kullanarak ikili olay modelliyoruz. 250.000 doları aşan uygun ücret olasılığı, tahmini% 95 güven aralığıyla birlikte mavi olarak gösterilmiştir. $wage>250$

Aşağıda, bu tür aralıkları oluşturmak için iki yöntemin hızlı bir özeti ve sıfırdan nasıl uygulanacağıyla ilgili yorumlar

Wald / Uç nokta dönüşüm aralıkları

(Wald CI kullanarak) doğrusal kombinasyonu için güven aralığının üst ve alt sınırlarını hesaplayın $x^T\beta$
Olasılıkları elde etmek için uç noktalarına monotonik bir dönüşüm uygulayın . $F(x^T\beta)$

Yana bir tekdüze dönüşümü $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Somut olarak bu, hesaplanması ve ardından alt ve üst sınırları elde etmek için sonuca logit dönüşümünün uygulanması anlamına gelir : $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Standart hatayı hesaplama

Maksimum Olabilirlik teorisi bize yaklaşık varyansının , regresyon katsayılarının kovaryans matrisi kullanılarak hesaplanabileceğini söyler. $x^T\beta$ $\Sigma$

V bir r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

Tasarım matris tanımlama ve matris olarak $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & ... & x_{1, p} \\ 1 & x_{2, 1} & ... & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & ... & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & ... & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & ... & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & ... & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

burada değeridir değişkeni th inci gözlem ve gözlem için öngörülen olasılığını temsil . $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

Kovaryans matrisi daha sonra şu şekilde bulunabilir: ve standart hata $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

Tahmin edilen olasılık için% 95 güven aralıkları şu şekilde çizilebilir:

Delta yöntemi güven aralıkları

Yaklaşım fonksiyonunun doğrusal bir yaklaşımının varyansını hesaplamak ve bunu büyük örnek güven aralıkları oluşturmak için kullanmaktır. $F$

var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Burada gradyanı ve tahmini kovaryans matrisi. Bir boyutta şunları unutmayın: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Burada , türevidir . Bu, çok değişkenli durumda genelleme yapar $f$ $F$

var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

Bizim durumumuzda F, türevi olan lojistik fonksiyon ( göstereceğiz ) $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Şimdi yukarıda hesaplanan varyansı kullanarak bir güven aralığı oluşturabiliriz.

C . ben . = [P r (x \hat{β}) - z^{*} \sqrt{var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

Çok değişkenli durum için vektör formunda

C . ben . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Bu Not tek bir veri noktasını temsil eder tasarım matris, örneğin, tek bir sıra $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Açık uçlu bir sonuç

Hem olasılıklar hem de negatif log oranları için Normal QQ grafiklerine bir bakış, ikisinin de normal olarak dağıtılmadığını gösterir. Bu farkı açıklayabilir mi?

Kaynak:

— Xavier Bourret Sicotte
kaynak

1

Çoğu amaç için, bu sayfadaki bir günlük dönüşümü bağlamında tartışıldığı gibi, en basit yol muhtemelen en iyisidir . Bağımlı değişkeninizi, gerçekleştirilen istatistiksel testler ve bu logit ölçeğinde tanımlanan güven aralıkları (CI) ile logit ölçeğinde analiz ediliyor olarak düşünün. Geri dönüşüm-olasılık oranı, basitçe bu sonuçları bir okuyucunun daha kolay kavrayabileceği bir ölçeğe koymaktır. Bu, örneğin, regresyon katsayılarının (ve% 95 CI) tehlike oranları ve CI'leri elde etmek için üssel hale getirildiği Cox hayatta kalma analizinde de yapılır.

— EDM
kaynak

Lojistik regresyondan oran oranı için bir güven aralığı üretmenin farklı yolları

ISL örneğindeki güven aralığı yöntemlerinin karşılaştırılması

Wald / Uç nokta dönüşüm aralıkları

Standart hatayı hesaplama

Delta yöntemi güven aralıkları

Açık uçlu bir sonuç