R'nin lojistik regresyonundan sözde nasıl hesaplanır ?

46

Christopher Manning'in R'deki lojistik regresyon konusundaki yazımı, R'de lojistik bir regresyon olduğunu gösteriyor:

ced.logr <- glm(ced.del ~ cat + follows + factor(class), 
  family=binomial)

Bazı çıktılar:

> summary(ced.logr)
Call:
glm(formula = ced.del ~ cat + follows + factor(class),
    family = binomial("logit"))
Deviance Residuals:
Min            1Q    Median       3Q      Max
-3.24384 -1.34325   0.04954  1.01488  6.40094

Coefficients:
              Estimate Std. Error z value Pr(>|z|)
(Intercept)   -1.31827    0.12221 -10.787 < 2e-16
catd          -0.16931    0.10032  -1.688 0.091459
catm           0.17858    0.08952   1.995 0.046053
catn           0.66672    0.09651   6.908 4.91e-12
catv          -0.76754    0.21844  -3.514 0.000442
followsP       0.95255    0.07400  12.872 < 2e-16
followsV       0.53408    0.05660   9.436 < 2e-16
factor(class)2 1.27045    0.10320  12.310 < 2e-16
factor(class)3 1.04805    0.10355  10.122 < 2e-16
factor(class)4 1.37425    0.10155  13.532 < 2e-16
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 958.66 on 51 degrees of freedom
Residual deviance: 198.63 on 42 degrees of freedom
AIC: 446.10
Number of Fisher Scoring iterations: 4

Daha sonra, katsayıları nasıl yorumlayacağınız, farklı modelleri nasıl karşılaştıracağınızla ilgili bazı ayrıntılara giriyor. Gayet yararlı.

Bununla birlikte, model ne kadar değişkenlik gösteriyor? Lojistik regresyondaki bir Stata sayfası şöyle diyor:

Teknik olarak, lojistik regresyonda OLS regresyonunda olduğu gibi hesaplanamaz. Lojistik regresyonda sözde , , burada , "sadece-sabit" model için log olasılığını gösterir ve , tam model için log olasılığını gösterir. sabit ve yordayıcılar. $R^2$ $R^2$ $1 - \frac{L1}{L0}$ $L0$ $L1$

Bunu üst düzeyde anlıyorum. Yalnızca sabit model hiçbir parametre içermez (yalnızca engelleme terimi). Günlük olasılığı, parametrelerin verilere ne kadar uyduğunun bir ölçüsüdür. Aslında, Manning sapmaların olabileceğini ima ediyor . Belki de boş sapma sadece sabittir ve artık sapma modelin ? Ancak, o konuda net değilim. $-2 \log L$ $-2 \log L$

Birisi bu örneği kullanarak R'deki sahte gerçekten nasıl hesapladığını doğrulayabilir mi? $R^2$

r logistic log-likelihood

— dfrankow
kaynak

5

Genellikle mükemmel UCLA istatistik hesaplama sayfaları burada nadir bir hata yaptı - sözde ifadesinde parantez olmamalı, yani . (- Ben bunu uyanık yeterince olduğum önce başkası bu çözüm üreteceklerini eminim Maalesef Sorularınızı yanıtlamak için değil yatmak için kafasına üzereyim olarak.)

R^{2}

$R^2$

1 - L_{1} / L_{0}

$1-L_1/L_0$

— giderebilirsiniz

6

Burada biraz ilgili bir soru soruldu, Lojistik Regresyon: Hangi sahte R-kare ölçüsü bildirildi (Cox & Snell veya Nagelkerke)? .

— chl

3

Bu sayfa birkaç sahte R ^ 2'yi tartışmaktadır.

— dfrankow

2

Not: İlgili soru herhangi bir sözde R ^ 2'den hoşlanmıyor, ancak çapraz onaylama veya bekletme testi tahminini tercih ediyor.

— dfrankow

49

Rms paketini unutma, Frank Harrell. GLM'lerin takılması ve doğrulanması için ihtiyaç duyduğunuz her şeyi bulacaksınız.

İşte bir oyuncak örneği (yalnızca bir tahminciyle):

set.seed(101)
n <- 200
x <- rnorm(n)
a <- 1
b <- -2
p <- exp(a+b*x)/(1+exp(a+b*x))
y <- factor(ifelse(runif(n)<p, 1, 0), levels=0:1)
mod1 <- glm(y ~ x, family=binomial)
summary(mod1)

Bu verim:

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)   0.8959     0.1969    4.55 5.36e-06 ***
x            -1.8720     0.2807   -6.67 2.56e-11 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 258.98  on 199  degrees of freedom
Residual deviance: 181.02  on 198  degrees of freedom
AIC: 185.02

Şimdi, lrmişlevini kullanarak ,

require(rms)
mod1b <- lrm(y ~ x)

Yakında Nagelkerke dahil model uyum indekslerinin, bir sürü olsun ile : $R^2$ print(mod1b)

Logistic Regression Model

lrm(formula = y ~ x)

                      Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       

Obs           200    LR chi2      77.96    R2       0.445    C       0.852    
 0             70    d.f.             1    g        2.054    Dxy     0.705    
 1            130    Pr(> chi2) <0.0001    gr       7.801    gamma   0.705    
max |deriv| 2e-08                          gp       0.319    tau-a   0.322    
                                           Brier    0.150                     


          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept  0.8959 0.1969  4.55  <0.0001 
x         -1.8720 0.2807 -6.67  <0.0001

Burada, ve , burada LR stat (tanımladığınız iki yuvalanmış modeli karşılaştırarak) iken, payda için sadece maksimum değerdir . Mükemmel bir model için , yani . $R^2=0.445$ $\left(1-\exp(-\text{LR}/n)\right)/\left(1-\exp(-(-2L_0)/n)\right)$ $\chi^2$ $R^2$ $\text{LR}=2L_0$ $R^2=1$

Elle,

> mod0 <- update(mod1, .~.-x)
> lr.stat <- lrtest(mod0, mod1)
> (1-exp(-as.numeric(lr.stat$stats[1])/n))/(1-exp(2*as.numeric(logLik(mod0)/n)))
[1] 0.4445742
> mod1b$stats["R2"]
       R2 
0.4445742

Ewout W. Steyerberg , Klinik Tahmin Modelleri kitabında GLM ile kullanımını tartıştı (Springer, 2009, § 4.2.2, s. 58-60). Temel olarak, LR istatistiği ve Nagelkerke'in arasındaki ilişki yaklaşık olarak doğrusaldır (düşük insidans ile daha doğrusal olacaktır). Şimdi, yorumuma bağladığım önceki konu üzerinde tartışıldığı gibi , AUC istatistiğine eşdeğer olan istatistiği gibi diğer önlemleri kullanabilirsiniz (yukarıdaki referansta ayrıca güzel bir örnek var, bkz. Şekil 4.6). $R^2$ $R^2$ $c$

— chl
kaynak

.445 Nasıl elde ettiğinizi açıklayabilir misiniz? 1-exp (-77.96 / 200) kullandım, ancak .323 kullandım. Neyi yanlış yapıyorum? Teşekkürler.

2

Nagelkerke R2 hangisi?

— JetLag

1

@JetLag Ayrımcılık Endeksleri Altında, Nagelkerke, R2 olarak kısaltılmıştır (yani 0.445). Bunu, fmsb paketindeki NagelkerkeR2 () işlevini kullanarak kontrol edebilirsiniz.

— Chernoff

11

$R^2$

— user48729
kaynak

7

$R^2$

$R^2$ $R^2_M=1- \frac{ln\hat{L}_{full}}{ln\hat{L}_{null}}$ $ln\hat{L}_{full}$ $ln\hat{L}_{full}$

$R^2$

$deviance = -2*ln(L_{full})$ $null.deviance = -2*ln(L_{null})$

pR2 = 1 - mod$deviance / mod$null.deviance # works for glm

$R^2$

R ve tanımında "logLik" işlevini kullanın (ayrıca örnek içinde de çalışır)

mod_null <- glm(y~1, family = binomial, data = insample) 1- logLik(mod)/logLik(mod_null)

$R^2$

Örnek:

örnek dışı sözde-R

$R^2$

R_{p}^{2} = 1 - \frac{L_{e s t . o u t}}{L_{n u l l . o u t}},

$R_p^2=1−\frac{L_{est.out}}{L_{null.out}},$

L_{e s t . o u t}

$L_{est.out}$

L_{n u l l . o u t}

$L_{null.out}$

Kodlar:

pred.out.link <- predict(mod, outSample, type = "link") mod.out.null <- gam(Default~1, family = binomial, data = outSample) pR2.out <- 1 - sum(outSample$y * pred.out.link - log(1 + exp(pred.out.link))) / logLik(mod.out.null)

— Xiaorui Zhu
kaynak

d e v i a n c e = - 2 * l n (L_{f u l l})

$deviance = -2*ln(L_{full})$ model1 <- glm(cbind(ncases, ncontrols) ~ agegp + tobgp * alcgp, data = esoph, family = binomial)model1$deviance-2*logLik(model1)

6

sapma olasılığını log orantılı olan ve bir tanımını içeriyorsa (McFadden en bakınız buraya )

pseudo R^2 = 1 - L(model) / L(intercept)

$R^2$ $1 - \frac{198.63}{958.66}$

Soru şudur: log olasılığı ile orantılı sapma olduğu bildiriliyor mu?

— dfrankow
kaynak

3

Bu sözde-R ^ 2, @ chl'in cevabının Nagelkerke R ^ 2'sine kesinlikle katılmıyor.

— dfrankow

Ben okuldayken sapma -2 * LL olarak tanımlandı.

— DWin

@dfrankow aynı fikirde değil, çünkü Nagelkerke, McFaddens R2'den farklı olan Cox ve Snell R2'nin normalleşmesidir.

— Colin

0

$R^2$ $R^2=1-\frac{ll_{full}}{ll_{constant}}$ $ll_{full}$ $ll_{constant}$

$R^2$ $R^2=1-\frac{\sum_{i}(y_{i}-\hat{y}_i)^2}{\sum_{i}(y_{i}-\overline{y}_{train})^2}$ $\sum_{i}(y_{i}-\overline{y}_{train})^2$ $\overline{y}_{train}$ $\sum_{i}(y_i-\beta_0)^2$ $\hat{\beta}_0=\overline{y}_{train}$ $R^2$ $R^2$

— cthraves
kaynak