R'de, ROC altındaki alan için p-değeri nasıl hesaplanır

Bir alıcı operatör özelliği (ROC) altındaki alanın p değerini hesaplamanın bir yolunu bulmak için mücadele ediyorum. Sürekli bir değişkenim ve bir tanısal test sonucum var. AUROC'un istatistiksel olarak anlamlı olup olmadığını görmek istiyorum.

ROC eğrileri ile ilgili birçok paket buldum: pROC, ROCR, caTools, doğrulama, Epi. Ancak belgeleme ve testleri okumak için saatler geçirdikten sonra bile nasıl olduğunu bulamadım. Bence sadece özledim.

Sizin durumunuzda, bir ROC eğrisini çizmek ve o eğrinin altındaki alanı hesaplamak iyi olacaktır, ancak bu , birincil analizin kendisinden ziyade ana analizinize ek olarak düşünülmelidir . Bunun yerine, lojistik regresyon modeline uymak istiyorsunuz .

Lojistik regresyon modeli, modelin bir bütün olarak test edilmesiyle standart olarak gelecektir. (Aslında, yalnızca bir değişkeniniz olduğundan, bu p değeri, test sonucu değişkeniniz için p değeriyle aynı olacaktır.) Bu p değeri, peşinde olduğunuz değerdir. Model, hastalıklı bir gözlemin tahmini olasılığını hesaplamanıza izin verecektir. Bir Alıcının Çalışma Karakteristiği , tahmin edilen olasılığı öngörülen bir sınıflandırmaya dönüştürmek için farklı eşikler kullanırsanız , hassasiyet ve özgüllüğün nasıl değişeceğini söyler . Tahmin edilen olasılık test sonucu değişkeninizin bir işlevi olacağından, eşik olarak farklı test sonucu değerleri kullanırsanız nasıl işlem yaptıkları da açıklanmaktadır.

Lojistik regresyona çok aşina değilseniz, internette bazı kaynaklar vardır (yukarıda bağlantılı Wikipedia sayfasının yanı sıra):

• Cevabımdaki bazı temel konuları tartışıyorum: Lojistik regresyondaki oran oranlarına ilişkin basit tahminlerin yorumlanması ; ve (farklı bir bağlamda yazılmış olmasına rağmen) Buradaki cevabımda lojistik regresyonun ne olduğuna ve OLS (normal) regresyonla nasıl ilişkili olduğuna dair bir genel bakış sunuyorum: Logit ve probit modelleri arasındaki fark .
• Ayrıca lojistik etiketimiz altında sınıflandırılan bazı konuları da okuyabilirsiniz .
• Bir lojistik regresyon modelinin nasıl Rtakılacağına ilişkin olarak, UCLA istatistikleri yardım web sitesi genellikle mükemmeldir ve burada ilgili bir sayfaya sahiptir .

Temel olarak H0 = "AUC 0,5'e eşittir" test etmek istiyorsunuz.

Bu aslında H0 = "İki gruptaki rütbelerin dağılımı eşittir" demekle eşdeğerdir.

İkincisi Mann-Whitney (Wilcoxon) testinin sıfır hipotezidir (bakınız örneğin Gold, 1999 ).

Başka bir deyişle, sorunuzu cevaplamak için Mann-Whitney-Wilcoxon testini güvenle kullanabilirsiniz (bkz. Örneğin Mason & Graham, 2002 ). Franck Dernoncourt tarafından belirtilen doğrulama paketi tam olarak bunu yapar.

Paket doğrulamasından roc.area () öğesini kullanabilirsiniz :

install.packages("verification")
library("verification")

# Data used from Mason and Graham (2002).
a<- c(1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990,
 1991, 1992, 1993, 1994, 1995)
d<- c(.928,.576, .008, .944, .832, .816, .136, .584, .032, .016, .28, .024, 0, .984, .952)

A<- data.frame(a,d)
names(A)<- c("year", "p2")

# For model without ties
roc.area(A$event, A$p2)

Geri dönecek $p.value [1] 0.0069930071

İki ROC eğrisi pROC kullanılarak karşılaştırılabilir roc.test(). Bu aynı zamanda bir p değeri üretir. Ayrıca,roc(..., auc=TRUE, ci=TRUE) ROC nesnesini oluştururken, yararlı olabilecek ROC nesnesini oluştururken çıkıştaki AUC ile birlikte daha düşük ve daha yüksek güven aralıkları verir.

Aşağıda, galon başına milin veya bir arabanın ağırlığının, donatılmış olduğu şanzıman türünün (otomatik veya manuel) daha iyi bir tahmincisi olup olmadığını test eden çalışan örnek kodu verilmiştir:

library(pROC)
roc_object_1 <- roc(mtcars$am, mtcars$mpg, auc=T, ci=T) #gives AUC and CI
roc_object_2 <- roc(mtcars$am, mtcars$wt, auc=T, ci=T) #gives AUC and CI

roc.test(roc_object_1, roc_object_2) #gives p-value

Ağırlık, yakıt tüketiminden çok daha iyi bir yordayıcıdır. Ancak bu, 0.5 gibi bir sayı ile tek bir eğriyi değil, iki eğriyi karşılaştırmaktadır. 0,5 sayısını içerip içermediğini görmek için güven aralığına baktığımızda, bize önemli ölçüde farklı olup olmadığını söyler, ancak bir p değeri üretmez.