Lojistik regresyon katsayılarının standart hatalarını hesaplama

Lojistik regresyonu eğitmek ve test etmek için Python'un scikit-learn'u kullanıyorum.

scikit-learn, regresyonun bağımsız değişkenlerin katsayılarını döndürür, ancak katsayıların standart hatalarını sağlamaz. Her katsayı için Wald istatistiği hesaplamak ve bu katsayıları birbirleriyle karşılaştırmak için bu standart hatalara ihtiyacım var.

Bir lojistik regresyon katsayıları için standart hataların nasıl hesaplanacağına dair bir açıklama buldum ( burada ), ancak takip edilmesi biraz zor.

Bu standart hataların nasıl hesaplanacağına dair basit ve kısa bir açıklama biliyorsanız ve / veya bana bir tane verebilirseniz, gerçekten takdir ediyorum! (Ama lütfen yararlı olabilir herhangi bir kod göndermek için çekinmeyin) belirli bir kod demek değil, daha ziyade ilgili adımlar algoritmik bir açıklama.

Yazılımınız size bir parametre kovaryans (veya varyans-kovaryans) matrisi veriyor mu? Eğer öyleyse, standart hatalar bu matrisin köşegeninin kare köküdür. Muhtemelen doğrusal ve genelleştirilmiş doğrusal modeller için matrisini nasıl alacağınıza dair bir ders kitabına (veya üniversite ders notları için google'a) bakmak istersiniz .$V_\beta$

Model katsayılarının standart hataları, kovaryans matrisinin köşegen girişlerinin kare kökleridir. Aşağıdakileri göz önünde bulundur:

• Tasarım matrisi:

, x i , j, değeridir j i için th belirleyicisi$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$ gözlemler .

(NOT: Bu, kesişen bir model olduğunu varsayar.)

• , burada π i , gözlem i için sınıf üyeliği tahmini olasılığını temsil eder.$\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

Kovaryans matrisi şu şekilde yazılabilir:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

Bu, aşağıdaki kodla uygulanabilir:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

Tüm söylenenler, statsmodelsbir çok "kutudan çıktığı" tanılamaya erişmek istiyorsanız, muhtemelen daha iyi bir paket olacaktır.

Çıkarım yapmakla ilgileniyorsanız, muhtemelen istatistik modellerine bir göz atmak isteyeceksiniz . Standart hatalar ve yaygın istatistiksel testler mevcuttur. İşte lojistik regresyon örneği .