Lojistik Regresyonda Göreceli Değişken Önemi p cinsinden nasıl hesaplanır?

Çevrimiçi bir alışveriş yapan kişinin, bir dizi çevrimiçi reklamı (öngörücüler: Reklam1, Reklam2 ve Reklam3) tıkladıktan sonra bir ürün satın alıp almayacağını (sonuç: satın alma) tahmin etmek için kullanıldığını varsayalım.

Sonuç ikili bir değişkendir: 1 (satın alındı) veya 0 (satın alınmamış). Öngörücüler ayrıca ikili değişkenlerdir: 1 (tıklandı) veya 0 (tıklanmadı). Yani tüm değişkenler aynı ölçekte.

Ortaya çıkan Ad1, Ad2 ve Ad3 katsayıları 0.1, 0.2 ve 03 ise, Ad3'ün Ad2'den daha önemli olduğu ve Ad2'nin Ad1'den daha önemli olduğu sonucuna varabiliriz. Ayrıca, tüm değişkenler aynı ölçekte olduğundan, standartlaştırılmış ve standartlaştırılmamış katsayılar aynı olmalıdır ve ayrıca Ad2'nin logit (log-odds) seviyesi üzerindeki etkisi açısından Ad1'den iki kat daha önemli olduğu sonucuna varabiliriz.

Ancak uygulamada, değişkenlerin göreceli öneminin logit (log-odds) yerine p (satın alma olasılığı) seviyesi açısından nasıl karşılaştırılacağını ve yorumlanacağına daha fazla önem veriyoruz.

Dolayısıyla soru şudur: Bu değişkenlerin p açısından göreceli önemini ölçmek için herhangi bir yaklaşım var mı?

Doğrusal modeller için, her model parametresi için t istatistiklerinin mutlak değerini kullanabilirsiniz.

Ayrıca, rastgele bir forrest gibi bir şey kullanabilir ve özellik ithalatlarının çok güzel bir listesini alabilirsiniz.

R kontrol kullanıyorsanız ( http://caret.r-forge.r-project.org/varimp.html ), python kontrol kullanıyorsanız ( http://scikit-learn.org/stable/auto_examples /ensemble/plot_forest_importances.html#example-ensemble-plot-forest-importances-py )

DÜZENLE:

Logit'in bunu yapmanın doğrudan bir yolu olmadığından, her bir öngörücü için bir ROC eğrisi kullanabilirsiniz.

Sınıflandırma için, her bir öngörücü üzerinde ROC eğrisi analizi yapılır. İki sınıf problemi için, sınıfı öngörmek üzere öngörücü verilere bir dizi kesim uygulanır. Hassasiyet ve özgüllük her bir kesme için hesaplanır ve ROC eğrisi hesaplanır. Yamuk kuralı, ROC eğrisinin altındaki alanı hesaplamak için kullanılır. Bu alan değişken önem ölçüsü olarak kullanılır

Bunun R'de nasıl çalıştığına bir örnek:

library(caret)
mydata <- data.frame(y = c(1,0,0,0,1,1),
                 x1 = c(1,1,0,1,0,0),
                 x2 = c(1,1,1,0,0,1),
                 x3 = c(1,0,1,1,0,0))

fit <- glm(y~x1+x2+x3,data=mydata,family=binomial())
summary(fit)

varImp(fit, scale = FALSE)

Olasılık ölçeği üzerinde özellikle bir yorum istemiş olduğunuz için: Lojistik regresyonda, tahmini başarı olasılığı

$\hat{\pi}(\mathbf{x})=\frac{exp(\beta_0+ \mathbf{\beta x})}{1+exp(\beta_0+ \mathbf{\beta x})}$

$\beta_0$$\mathbf{\beta}$$\mathbf{x}$

$\frac{exp(0.1)}{1+exp(0.1)}=0.52$

Yalnızca 3. reklamı tıklayan bir kişi:

$\frac{exp(0.3)}{1+exp(0.3)}=0.57$

Bununla birlikte, kişi reklam 1 veya reklam 3'ü değil, aynı zamanda reklam 2'yi de tıkladıysa (bu bir plazubil senaryo ise) olasılıklar

$\frac{exp(0.1+0.2)}{1+exp(0.1+0.2)}=0.57$

$\frac{exp(0.3+0.2)}{1+exp(0.3+0.2)}=0.62$

Bu durumda, olasılıktaki değişiklik her ikisi de 0.05'tir, ancak genellikle bu değişiklik farklı düzey kombinasyonları için aynı değildir. (Örneğin, yukarıdakiyle aynı yaklaşımı ancak 0.1, 1.5, 0.3 katsayılarıyla kullanırsanız bunu kolayca görebilirsiniz.) Bu nedenle, bir değişkenin olasılık ölçeğindeki önemi, diğer değişkenlerin gözlenen düzeylerine bağlıdır. Bu, olasılık ölçeğinde mutlak, nicel bir değişken önem ölçüsü ortaya çıkarmayı zorlaştırabilir (imkansız?).