EAA'nın olasılıksal yorumu nasıl elde edilir?

14

Neden ROC eğrisinin altındaki alan, bir sınıflandırıcının rasgele seçilen bir "pozitif" örneği (alınan tahminlerden) rastgele seçilen "pozitif" olandan (orijinal pozitif sınıftan) daha yüksek sıraya koyma olasılığıdır? Gerçek pozitif ve negatif sınıf dağılımlarının CDF'lerini ve PDF'lerini vererek integrali kullanarak bu ifadeyi matematiksel olarak nasıl kanıtlayabiliriz?

probability roc auc

— mff
kaynak

2

Burada bununla ilgili

— Matthew Drury

10

İlk olarak, ROC eğrisinin altındaki alanı resmi olarak tanımlamaya çalışalım. Bazı varsayımlar ve tanımlar:

Bir "skor" s (x) çıkaran olasılıksal bir sınıflandırıcıya sahibiz, burada x, özelliklerdir ve s, tahmini olasılık p'nin (sınıf = 1 | x) jenerik artan monotonik bir fonksiyonudur.
$f_{k}(s)$ , : = k sınıfı puanlarının , CDF ile $k = \{0, 1\}$ $F_{k}(s)$
Yeni bir gözlemin sınıflandırması, s skorunu t eşiğine göre karşılaştırır

Ayrıca, matematiksel kolaylık sağlamak için, pozitif sınıfı (tespit edilen olay) k = 0 ve negatif k = 1'i ele alalım: Bu ayarda şunları tanımlayabiliriz:

Hatırlama (diğer adıyla Duyarlılık, diğer adıyla TPR) : (pozitif olarak sınıflandırılan pozitif vakaların oranı) $F_{0}(t)$
Özgüllük (diğer adıyla TNR) : (negatif olarak sınıflandırılan negatif vakaların oranı) $1 - F_{1}(t)$
FPR (Düşüş olarak da bilinir) : 1 - TNR = $F_{1}(t)$

ROC eğrisi karşı nin bir grafiğidir . Ayar : resmen ROC eğrisinin altındaki alan tanımlayabilir Değişken değiştirme ( ): $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Bu formülün, sınıf 0 rasgele çizilmiş bir üyesinin, sınıf 1 rasgele çizilmiş bir üyesinin skorundan daha düşük bir skor üretme olasılığı olduğu kolayca görülebilir.

Bu kanıt şu adresten alınır: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
kaynak

5

@ alebu'nun cevabı harika. Ancak gösterimi standart dışıdır ve pozitif sınıf için 0, negatif sınıf için 1 kullanır. Aşağıda standart gösterim için sonuçlar (negatif sınıf için 0 ve pozitif sınıf için 1) bulunmaktadır:

Negatif sınıf puanının PDF ve : ve $f_0(s)$ $F_0(s)$

Pozitif sınıf için pdf ve : ve $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

burada eşik anlamına gelir. Yorum, @ alebu'nun cevabındaki son ifadeye uygulanabilir. $\tau$

— Lei Huang
kaynak

1

AUC-ROC'u hesaplamanın yolu TPR ve FPR'yi eşik olarak çizmektir, değiştirilir ve bu eğrinin altındaki alanı hesaplar. Peki, eğrinin altındaki bu alan neden bu olasılıkla aynı? Aşağıdakileri varsayalım: $\tau$

$A$ , modelin aslında pozitif sınıftaki veri noktaları için ürettiği puanların dağılımıdır.
$B$ , modelin aslında negatif sınıftaki veri noktaları için ürettiği puanların dağılımıdır (bunun solunda olmasını istiyoruz ). $A$
$\tau$ kesme eşiğidir. Bir veri noktası bundan daha yüksek bir puan alırsa, pozitif sınıfa ait olduğu tahmin edilir. Aksi takdirde, negatif sınıfta olduğu tahmin edilir.

TPR'nin (hatırlama) şu şekilde verildiğine dikkat edin: ve FPR (serpinti): . $P(A>\tau)$ $P(B>\tau)$

Şimdi, TPR'yi y ekseninde ve FPR'yi x ekseninde çiziyoruz, çeşitli için eğri çiziyoruz ve bu eğrinin altındaki alanı ( ) hesaplıyoruz . $\tau$ $AUC$

Biz:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ burada FPR'dir. Şimdi, bu integrali hesaplamanın bir yolu tekdüze bir dağılıma ait saymaktır. Bu durumda, basitçe beklentisi haline gelir .

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ olduğunu düşünürsek .

x \sim U [0, 1)

$x \sim U[0,1)$

Şimdi, burada sadece $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ tekdüze bir dağılımdan olduğunu düşündüğümüzden ,

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

Ancak ters dönüşüm yasasından , herhangi bir rastgele değişken , sonra olduğunu . Bu, herhangi bir rastgele değişken alarak ve kendi CDF'sini uygulayarak üniformaya yol açtığı için bunu takip eder. $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ ve bu sadece üniforma için geçerlidir.

Bu gerçeği denklem (2) 'de kullanmak bize şunu verir:

τ (x) ~ B

$\tau(x) \sim B$

Bunu denklem (1) ile değiştirerek şunu elde ederiz:

bir U C = E_{x} (P (bir > B)) = P (bir > B)

$AUC=E_x(P(A>B))=P(A>B)$

Başka bir deyişle, eğrinin altındaki alan, rastgele bir pozitif örneğin rastgele bir negatif örnekten daha yüksek bir puana sahip olma olasılığıdır.

— ryu576
kaynak