100 vakadan oluşan bir test setim ve iki sınıflandırıcım var.

Her iki sınıflandırıcı için tahminler ve ROC AUC, duyarlılık ve özgüllük hesapladım.

Soru 1: Tüm puanlara (ROC AUC, duyarlılık, özgüllük) göre birinin diğerinden önemli ölçüde daha iyi olup olmadığını kontrol etmek için p-değerini nasıl hesaplayabilirim?

Şimdi, 100 vakanın aynı test seti için, her vaka için farklı ve bağımsız özellik atamalarım var. Çünkü özelliklerim sabit fakat subjektif ve birden fazla (5) konu tarafından sağlanıyor.

Bu yüzden, iki sınıflandırıcımı test setimin 5 "versiyonu" için tekrar değerlendirdim ve her iki sınıflandırıcı için 5 ROC AUC, 5 duyarlılık ve 5 spesifiklik elde ettim. Daha sonra, her iki sınıflandırıcı için 5 denek için her performans ölçümünün ortalamasını (ortalama ROC AUC, ortalama duyarlılık ve ortalama özgüllük) hesapladım.

Soru 2: Ortalama puanlar (ortalama ROC AUC, ortalama duyarlılık, ortalama özgüllük) açısından birinin diğerinden önemli ölçüde daha iyi olup olmadığını kontrol etmek için p-değerini nasıl hesaplayabilirim?

Bazı örnek python (tercihen) veya MatLab kodlu yanıtlar hoş karşılanmamaktadır.

— kostek
kaynak

İkisi arasında en iyi sınıflandırıcıyı elde etmek için hassasiyet, doğruluk ve AuC'yi doğrudan karşılaştırın. P-değeri burada bir anlam ifade etmiyor. P-değeri, modelin rastgele / 50-50 ödevlerden daha iyi olup olmadığını değerlendirme bağlamında kullanılır (boş / alternatif hipotez testi olarak)

— Nishad

İlk olarak, p-değeri kullanarak iki performans ölçüsünün karşılaştırılmasının burada bir anlamı olmadığını kabul etmiyorum. Bir sınıflandırıcının AUC 0.80 ve diğerinin 0.85 olduğunu görüyorum. Sıfır hipotezim, her iki sınıflandırmanın performansında hiçbir fark olmamasıdır. Aradaki farkın istatistiksel olarak anlamlı olup olmadığını bilmek istiyorum.

— kostek

İkincisi, modelimin 5 versiyonunu yapmıyorum. Ayrı bir eğitim seti üzerinde eğitilmiş iki modelim var ve şimdi bunları test setimin 5 farklı “versiyonu” nda değerlendiriyorum. Her iki sınıflandırıcı için de ortalama bir performansım var (örn. 0.81 AUC ve 0.84 AUC) ve farkın istatistiksel olarak anlamlı olup olmadığını kontrol etmek istiyorum.

— kostek

Yaptığım şeyin çapraz doğrulamaya yakın olduğunu söyleyemem. Benim durumumda, özelliklerin değerleri bunları sağlayan konuya bağlıdır. AUC'nin modelleri karşılaştırmak için kullanılabileceğini biliyorum, ancak benim durumumda karşılaştırmamın sonucunun istatistiksel olarak anlamlı olup olmadığını bilmek istiyorum. Eminim yapılabilir ve bunu yapmak çok mantıklıdır. Benim sorum bunu nasıl yapacağım.

— kostek

@Nishad'ın ne elde ettiğinden emin değilim, modellerinizin birbirinden önemli ölçüde farklı olup olmadığını belirlemek için bir hipotez testi kullanabilirsiniz ve kullanmalısınız. Metriklerinizin standart sapmaları vardır ve örnek boyutu arttıkça küçülür (diğer tüm şeyler eşit olur). Yalnızca 10 örneğiniz varsa 0,8 ile 0,9 arasındaki AUC farkı önemli olmayabilir, ancak 10M örneğiniz varsa çok önemli olabilir. Çapraz geçerlilikle de bir ilişki göremiyorum. Eğer yapabilirsem aşağı oy.

— Nükleer Wang

Wojtek J. Krzanowski ve David J. Sürekli Veriler için El ROC Eğrileri (2009) ROC eğrileri ile ilgili her şey için mükemmel bir referanstır. Aynı konuyu tartışmak için genellikle farklı terminoloji kullanan sinir bozucu bir şekilde geniş bir literatür tabanı olan bir dizi sonuç toplar.

Buna ek olarak, bu kitap aynı miktarları tahmin etmek için türetilen alternatif yöntemlerin yorumlarını ve karşılaştırmasını sunar ve bazı yöntemlerin belirli bağlamlarda savunulamayacak varsayımlar yaptığını gösterir. Bu böyle bir bağlam; diğer cevaplar, puanların dağılımı için binormal modeli kabul eden Hanley & McNeil yöntemini bildirmektedir; bu, sınıf puanlarının dağılımının (yakın) normal olmadığı durumlarda uygun olmayabilir. Normal olarak dağıtılmış puanların varsayımı, modern makine öğrenimi bağlamlarında özellikle uygun görünmemektedir , xgboost gibi tipik ortak modeller , sınıflandırma görevleri için "küvet" dağılımı (0 ve 1 yakınındaki uçlarda yüksek yoğunluklu dağılımlar) ile puan üretme eğilimindedir. ).

Soru 1 - AUC

Bölüm 6.3'te iki ROC eğrisi için ROC AUC karşılaştırmaları tartışılmaktadır (sf. 113-114). Özellikle, benim anlayışım, bu iki modelin birbiriyle ilişkili olduğu, bu yüzden nasıl hesaplanacağı hakkındaki bilgi burada kritik öneme sahiptir; Aksi takdirde, test istatistiğiniz önyargılı olacaktır çünkü korelasyonun katkısını hesaba katmaz. $r$

Herhangi bir parametrik dağılım varsayımına dayanmayan ilişkisiz ROC eğrileri için, AUC'leri karşılaştıran testler ve güven aralıkları istatistikleri , AUC değerlerinin ve tahminlerine ve standart sapmalarının ve Bölüm 3.5.1'de verildiği gibi : $\widehat{\text{AUC}}_1$ $\widehat{\text{AUC}}_2$ $S_1$ $S_2$

$Z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2}}}$ $Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$
Bu tür testleri her iki sınıflandırıcı için de aynı verilerin kullanıldığı duruma genişletmek için AUC tahminleri arasındaki korelasyonu hesaba :
$z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2} - r S_{1} S_{2}}}$ $z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$
burada bu korelasyonun tahminidir. Hanley ve (1983) McNeil binormal durumda analizlerini dayanarak, bu tür bir uzatma yapılmıştır, ancak tahmin korelasyon katsayısı hesaplamak için nasıl kullanıldığını gösteren bir tablo verdi korelasyon gelen sınıfı P içinde iki sınıflandırıcıların ve korelasyonunu sınıfındaki iki sınıflandırıcıdan , matematik türetmenin talep üzerine mevcut olduğunu söyleyerek. Diğer çeşitli yazarlar (örneğin Zou, 2001), P ve N sınıflarının skor dağılımlarını aynı anda normale dönüştürecek uygun bir dönüşümün bulunabileceğini varsayarak, binormal modele dayanan testler geliştirmiştir. $r$ $r$ $r_P$ $r_n$

DeLong ve arkadaşları (1988), AUC ile Mann-Whitney test istatistiği arasındaki kimlikten ve Sen (1960) 'a bağlı genelleştirilmiş -istatistik teorisinden elde edilen sonuçlardan faydalanarak AUC'ler arasındaki korelasyonun bir tahminini elde etmişlerdir. binormal varsayımlara dayanmaz. Aslında, DeLong ve arkadaşları (1988) sınıflandırıcıları arasındaki karşılaştırmalar için aşağıdaki sonuçları sunmuşlardır . $U$ $k\ge 2$

Bölüm 3.5.1'de, ampirik ROC eğrisinin altındaki alanın Mann-Whitney - statikine eşit olduğunu ve $U$

burada,nesnelerisınıfıve,örnektekisınıfınesneler. Varsayalım kisınıflandırıcılarımız var, puanlarveriyoruz
$\hat{A U C} = \frac{1}{n_{N} n_{P}} \sum_{i = 1}^{n_{N}} \sum_{j = 1}^{n_{P}} [I (s_{P_{j}} > s_{N_{i}}) + \frac{1}{2} I (s_{P_{j}} = s_{N_{i}})]$ $\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$ $s_{P_i}, i = 1, \dots,n_P$ $P$ $s_{N_j}, j = 1, \dots,n_N$ $N$ $k$ ve [Bu bölümde bir dizin oluşturma hatasını düzelttim - Sycorax] ve . Tanımlamak $s^r_{N_j}, j=1\dots n_N$ $s_{P_i}^r, j = 1, \dots,n_P$ $\widehat{AUC}_r, r = 1, \dots, k$
ve
$V_{10}^{r} = \frac{1}{n_{N-}} Σ_{j = 1}^{n_{N-}} [ben (s_{P_{ben}}^{r} > s_{{N-}_{j}}^{r}) + \frac{1}{2} ben (s_{P_{ben}}^{r} = s_{{N-}_{j}}^{r})], ben = 1, ..., n_{P}$ $V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$ $V_{01}^{r} = \frac{1}{n_{P}} Σ_{ben = 1}^{n_{P}} [ben (s_{P_{ben}}^{r} > s_{{N-}_{j}}^{r}) + \frac{1}{2} ben (s_{P_{ben}}^{r} = s_{{N-}_{j}}^{r})], j = 1, ..., n_{N-}$ $V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$
sonra, matris th elemanı ile tanımlayın $k \times k$ $\mathbf{W}_{10}$ $(r,s)$ vematrisiileinci elemanı
$w_{10}^{r, s} = \frac{1}{n_{P} - 1} Σ_{ben = 1}^{n_{P}} [V_{10}^{r} (s_{P_{ben}}) - {\hat{bir U C}}_{r}] [V_{10}^{s} (s_{P_{ben}}) - {\hat{bir U C}}_{s}]$ $w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$ $k \times k$ $\mathbf{W}_{01}$ $(r,s)$ Sonra vektör için tahmini kovaryans matrisi $w_{01}^{r, s} = \frac{1}{n_{N-} - 1} Σ_{ben = 1}^{n_{N-}} [V_{01}^{r} (s_{{N-}_{ben}}) - {\hat{bir U C}}_{r}] [V_{01}^{s} (s_{{N-}_{ben}}) - {\hat{bir U C}}_{s}]$ $w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$ eğriler altındaki tahmini alanlardan $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ elemanları ile. Bu, bölüm 3.5.1'de de verilen tek bir tahmini AUC'nin tahmini varyansı için sonucun genelleştirilmesidir. İki sınıflandırıcılar durumunda, estiamted korelasyontahmini AUC'ler arasında bu şekilde verilir $W = \frac{1}{n_{P}} W_{10} + \frac{1}{n_{N-}} W_{01}$ $\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$ $w^{r,s}$ $r$ ki bu dayukarıdakikullanılabilir. $\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$ $z$

Başka bir cevap, AUC varyansı tahmin edicileri için Hanley ve McNeil ifadelerini verdiğinden, burada DeLong tahmincisini p. 68:

DeLong ve arkadaşlarına (1988) bağlı olan ve Pepe (2003) tarafından örneklendirilen alternatif yaklaşım, belki de daha basit bir tahmin verir ve bir yerleştirme değeri için ekstra yararlı bir kavram ortaya koyan bir yaklaşımdır. Belirtilen popülasyona referansla bir puanının yerleştirme değeri, popülasyonun hayatta kalan fonksiyonunun cinsinden olmasıdır . Bu yerleşim değer nüfus N olan ve için nüfus P o . Yerleşim değerlerinin ampirik tahminleri bariz oranlarda verilmiştir. Gözlem nedenle yerleştirme değeri $s$ $s$ $s$ $1 - F(s)$ $s$ $1 - G(s)$ popülasyonda P belirtilen aşması P örnek değerlerin oranıdır , venüfus P ile ilgili olarak, N, her bir gözlem yerleşim değerlerinin varyansını .. $s_{N_i}$ $s^P_{N_i}$ $s_{N_i}$ $\text{var}(s_{P_i}^N)$

DeLong ve arkadaşları (1988) varyans tahmini şu varyanslar cinsinden verilmiştir: $\widehat{AUC}$
$s^{2} (\hat{A U C}) = \frac{1}{n_{P}} var (s_{P_{i}}^{N}) + \frac{1}{n_{N}} var (s_{N_{i}}^{P})$ $s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$

Not, popülasyonu N ve skorlar kümülatif dağılım fonksiyonu tahmin etmek için popülasyon S. standart bir şekilde puanlar kümülatif dağılım fonksiyonu olan ve kullanmaktır ecdf . Kitap aynı zamanda ecdf tahminlerine çekirdek yoğunluğu tahmini gibi bazı alternatif yöntemler de sunmaktadır, ancak bu yanıtın kapsamı dışındadır. $F$ $G$ $F$ $G$

ve istatistiklerinin standart normal sapmalar olduğu varsayılabilir ve sıfır hipotezinin istatistiksel testleri normal şekilde devam eder. (Ayrıca bakınız: hipotez testi ) $Z$ $z$

Bu, hipotez testinin nasıl çalıştığının basitleştirilmiş, üst düzey bir özetidir:

Kelimelerinizde, "bir sınıflandırıcının diğerinden önemli ölçüde daha iyi olup olmadığının" test edilmesi, iki modelin istatistiklerin eşit olmadığı alternatif hipoteze karşı istatistiksel olarak eşit AUC'lere sahip olduğu sıfır hipotezini test etmek olarak yeniden ifade edilebilir.
Bu iki kuyruklu bir test.
Test istatistiği bu durumda standart normal dağılım olan referans dağılımın kritik bölgesinde ise sıfır hipotezini reddediyoruz.
Kritik bölgenin büyüklüğü testin seviyesine bağlıdır . % 95'lik bir anlam seviyesi için, veya ise test istatistiği kritik bölgeye düşer . (Bunlar standart normal dağılımın ve miktarlarıdır.) Aksi takdirde, sıfır hipotezini reddedemezsiniz ve iki model istatistiksel olarak bağlıdır. $\alpha$ $z > 1.96$ $z < -1.96$ $\alpha/2$ $1 - \alpha/2$

Soru 1 - Hassasiyet ve Özgüllük

Duyarlılık ve özgüllüğü karşılaştırmak için genel strateji, bu istatistiklerin her ikisinin de oranlar üzerinde istatistiksel çıkarsamaya değer olduğunu gözlemlemektir ve bu standart, iyi çalışılmış bir sorundur. Spesifik olarak duyarlılık, bazı eşik eşik değerinden daha yüksek bir puana sahip P popülasyonu oranı ve benzer şekilde popülasyon N wrt özgüllük için oranıdır : $t$

\begin{aligned} sensitivity = t p & = P (s_{P} > t) \\ 1 - specificity = f p & = P (s_{N} > t) \end{aligned}

$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$

Ana yapışma noktası, iki örnek oranının ilişkilendirileceği göz önüne alındığında uygun testi geliştirmektir (aynı test verilerine iki model uyguladığınızda). Bu, s. 111.

Belirli testlere dönersek, birkaç özet istatistik, her eğri için orantıya düşer, böylece oranları karşılaştırmak için standart yöntemler kullanılabilir. Örneğin, değeri sabit, gibi sabit bir eşik için yanlış sınıflandırma oranı, bir oranıdır . Böylece bu ölçüleri kullanarak eğrileri, oranları karşılaştırmak için standart testlerle karşılaştırabiliriz. Örneğin, eşleşmemiş durumda, biz Test istatistiğini kullanarak , burada eğri için gerçek pozitif oran $tp$ $fp$ $t$ $(tp_1 - tp_2) / s_{12}$ $tp_i$ $i$ söz konusu nokta olarak ve , ve varyanslarının toplamıdır ... $s_{12}^2$ $tp_1$ $tp_2$

Eşleştirilmiş durumda, bununla birlikte, bir ila kovaryans sağlayan bir düzenleme elde edebilirsiniz ve , ancak alternatif bir korelasyon oranlarda (Marascuilo ve McSweeney-, 1977) için McNemar testi kullanmaktır. $tp_1$ $tp_2$

$N$

$tp_1 = tp_2$ $tp_1 \neq tp_2$

\begin{array}{ccc} Model 1 Positive at t & Model 1 Negative at t \\ Model 2 Positive at t & a & b \\ Model 2 Negative at t & c & d \end{array}

$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$

\begin{aligned} a & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} > t) \\ b & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} > t) \\ c & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} \leq t) \\ d & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} \leq t) \end{aligned}

$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$

M = \frac{(b - c)^{2}}{b + c}

$M = \frac{(b-c)^2}{b + c}$

χ_{1}^{2}

$\chi^2_1$

α = 95 %

$\alpha=95\%$

M > 3.841459

$M > 3.841459$

$s^r_{P_i}$ $s^r_{N_j}$

soru 2

Her katılımcı için tahmin değerlerini ortalayarak sonuçları birleştirmek yeterli görünmektedir, böylece her model için 100 ortalama tahmin edilen değerden 1 vektörüne sahip olursunuz. Daha sonra ROC AUC, hassasiyet ve özgüllük istatistiklerini her zamanki gibi orijinal modeller yokmuş gibi hesaplayın. Bu, 5 katılımcının modellerinin her birine, bir tür topluluk gibi bir model komitesinden biri olarak davranan bir modelleme stratejisini yansıtır.

— Sycorax: Monica'yı eski durumuna getirdi
kaynak

Cevabınız ve referanslarınız için teşekkürler. Duyarlılık ve özgüllük için p değerleri ne olacak?

— kostek

Q1 için, duyarlılık ve özgüllük için p-değerini hesaplamak arasında hiçbir fark olmadığı ve her ikisinin de her zaman aynı p-değerine sahip olduğu ve sadece bir olasılık tablosu oluşturup McNemar testi üzerinde çalıştığı anlamına mı geliyor?

— kostek

Hayır, her biri için bir test yaparsınız.

— Sycorax, Reinstate Monica

a, b, c, d

$a,b,c,d$

@Drey Oranlar değiller; sayılır. Bunu bir revizyonda açıkça belirtiyorum.

— Sycorax, Reinstate Monica

Cevabı kısa tutayım, çünkü bu kılavuz çok daha iyi ve daha iyi açıklıyor .

$nTP$ $nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

$Q_1 = A / (2 - A)$ $Q_2 = 2A^2 / (1 + A)$

İki AUC'yi karşılaştırmak için her ikisini de kullanarak SE'yi hesaplamanız gerekir:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

$r$ $r=0$

$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Oradan standart normal dağılımın olasılık yoğunluğunu kullanarak p değerini hesaplayabilirsiniz. Veya sadece bu hesap makinesini kullanın.

Bu umarım Soru 1'e cevap verir . - en azından EAA'ları karşılaştıran kısım. Sens / Spec bir şekilde ROC / AUC tarafından zaten kapsanmaktadır. Aksi takdirde, bence cevap Soru 2'de yatmaktadır.

Soru 2'ye gelince , Merkezi Limit Teoremi bize özet istatistiğinizin normal bir dağılım izleyeceğini söyler. Bu nedenle, basit bir t-testinin yeterli olacağını düşünürdüm (önlemlerin AUC, sens, spec olabileceği ikinci sınıflandırıcının 5 ölçüsüne karşı bir sınıflandırıcının 5 ölçüsü)

$\texttt{SE}$ $\ldots - 2r \ldots$

— Drey
kaynak

Sağlanan bağlantılar için teşekkürler. Soru 1 için, A'yı hassasiyet veya özgüllük olarak ayarlarsam, SE ve z-Skor denklemleri geçerli olur mu?

— kostek

\hat{p}

$\hat{p}$

Soru 1 için @Sycorax kapsamlı bir cevap verdi.

Soru 2 için, bilgim dahilinde, konulardan tahminlerin ortalaması yanlıştır. P değerlerini hesaplamak ve modelleri karşılaştırmak için önyükleme kullanmaya karar verdim.

Bu durumda, prosedür aşağıdaki gibidir:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Bu prosedür tek kuyruklu bir test gerçekleştirir ve M1'in ortalama performansın> M2 ortalama performans olduğunu varsayar.

Birden fazla okuyucuyu karşılaştıran p değerlerini hesaplamak için bir Python önyükleme uygulaması bu GitHub deposunda bulunabilir: https://github.com/mateuszbuda/ml-stat-util

— kostek
kaynak

İki sınıflandırıcıyı (ortalama) ROC AUC, duyarlılık ve özgüllük açısından karşılaştırmak için istatistiksel anlamlılık (p değeri)

Soru 1 - AUC

Soru 1 - Hassasiyet ve Özgüllük

soru 2