Hassas hatırlama eğrisinde "taban çizgisi" nedir

15

Hassas hatırlama eğrisini anlamaya çalışıyorum, hassasiyet ve hatırlamanın ne olduğunu anlıyorum ama anlamadığım şey "temel" değer. Bu bağlantıyı okuyordum https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/

ve "Mükemmel bir sınıflandırıcının bir Hassas-Geri Çağırma eğrisi" bölümünde gösterildiği gibi taban kısmını anlamıyorum, ne işe yarar? ve bunu nasıl hesaplıyoruz? Sadece seçtiğimiz rastgele bir başlangıç noktası mı? Örneğin, retweet,status_countvb gibi özniteliklere sahip twitter verilerim var ve Sınıf etiketim FavoritedFavorited ise 1 ve Favorited değilse 0 ve üzerine saf bayes uyguluyorum ve şimdi hassas hatırlama eğrisi çizmek istiyorum, bu durumda taban çizgimi nasıl ayarlamalıyım ?

r machine-learning classification precision-recall

— hyeri
kaynak

13

PR eğrisi plot "taban eğrisi" pozitif örnek sayısına eşit yüksekliğe sahip yatay bir çizgidir eğitim verileri toplam sayısı üzerinden yani. verilerimizdeki pozitif örneklerin oranı ( $P$ $N$ ). $\frac{P}{N}$

Peki, neden böyle? En bir "önemsiz sınıflandırıcı" olduğunu varsayalım . bir döner rastgele olasılık için -inci numune örneği sınıfı olmak . Kolaylık olması için deyin . Bu rastgele sınıfı atama doğrudan etkisi, yani (beklenen) hassas olması verilerimizde pozitif örneklerin oranına eşit olur. Sadece doğaldır; Verilerimizin tamamen rastgele alt örneklerinde $C_J$ $C_J$ $p_i$ $i$ $y_i$ $A$ $p_i \sim U[0,1]$ $C_J$ doğru sınıflandırılmış örnekler. Bu, herhangi bir olasılık eşiği için geçerli olacakbiz dönen sınıfı üyelerinin olasılıkları için bir karar sınır olarak kullanabilir. (bir değer anlamına gelirolasılık değerleri daha büyük ya da eşit buradasınıfı sınıflandırılır). Öte yandan, bir geri çağırma performansı(beklentisi) da eşitise. Herhangi bir eşikte $E\{\frac{P}{N}\}$ $q$ $C_J$ $q$ $[0,1]$ $q$ $A$ $C_J$ $q$ $p_i \sim U[0,1]$ biz (yaklaşık) bulacaktır daha sonra (yaklaşık) içerir, toplam veri sınıfı örnekleri toplam sayısı örneğinde. Bu yüzden başlangıçta bahsettiğimiz yatay çizgi! Her geri çağırma değeri için (PR grafiğindeki değerleri) karşılık gelen hassasiyet değeri (PR grafiğindeki değerleri) eşittir $q$ $(100(1-q))\%$ $(100(1-q))\%$ $A$ $x$ $y$ . $\frac{P}{N}$

Hızlı bir yan Not: eşik olduğu değil genel olarak 1 eksi beklenen geri çekme oranları ile aynıdır. Bu durumda olur çünkü rastgele homojen dağılımının yukarıda belirtilen 'nin sonuçları; farklı bir dağılım için (örneğin, ) ve geri çağırma arasındaki bu yaklaşık kimlik ilişkisi geçerli değildir; kullanılmıştır, çünkü anlaşılması ve zihinsel olarak görselleştirilmesi en kolay yöntemdir. içinde farklı bir rastgele dağılım için $q$ $C_J$ $C_J$ $p_i \sim B(2,5)$ $q$ $U[0,1]$ PR profili olsa değiştirmeyecektir. Sadece verilen değerleriiçin PR değerlerinin yerleşimideğişecektir. $[0,1]$ $C_J$ $q$

Şimdi mükemmel sınıflandırıcı ile ilgili olarak , bir döner olasılık olduğu bir sınıflandırıcı anlamına gelir örnek örneğine sınıfı olan ise sınıf gerçekten de ve ek olarak olasılığı ile döner ise sınıfının bir üyesidir değildir . Bu, herhangi bir eşiği için hassasiyete sahip olacağımız anlamına gelir (yani grafik terimlerinde hassasiyetle başlayan bir çizgi alırız ). elde edemediğimiz tek nokta $C_P$ $1$ $y_i$ $A$ $y_i$ $A$ $C_P$ $0$ $y_i$ $A$ $q$ $100\%$ $100\%$ kesinlik dır. İçin , hassas verilerimize pozitif örneklerin oranı (düşer $100\%$ $q = 0$ $q=0$ (delice?) Gibi) ile daha da noktaları sınıflandırmaksınıfı olma olasılığısınıfı olarak. PR grafiğininhassasiyeti için sadece iki olası değeri vardır,ve $\frac{P}{N}$ $0$ $A$ $A$ $C_P$ $1$ . $\frac{P}{N}$

$40\%$ $A$

  rm(list= ls())
  library(PRROC)
  N = 40000
  set.seed(444)
  propOfPos = 0.40
  trueLabels = rbinom(N,1,propOfPos)
  randomProbsB = rbeta(n = N, 2, 5) 
  randomProbsU = runif(n = N)  

  # Junk classifier with beta distribution random results
  pr1B <- pr.curve(scores.class0 = randomProbsB[trueLabels == 1], 
                   scores.class1 = randomProbsB[trueLabels == 0], curve = TRUE) 
  # Junk classifier with uniformly distribution random results
  pr1U <- pr.curve(scores.class0 = randomProbsU[trueLabels == 1], 
                   scores.class1 = randomProbsU[trueLabels == 0], curve = TRUE) 
  # Perfect classifier with prob. 1 for positives and prob. 0 for negatives.
  pr2 <- pr.curve(scores.class0 = rep(1, times= N*propOfPos), 
                  scores.class1 = rep(0, times = N*(1-propOfPos)), curve = TRUE)

  par(mfrow=c(1,3))
  plot(pr1U, main ='"Junk" classifier (Unif(0,1))', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.50)),c(1,2)];
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1U$curve[ which.min( abs(pr1U$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr1B, main ='"Junk" classifier (Beta(2,5))', auc.main= FALSE,
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.50)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 1)
  pcord = pr1B$curve[ which.min( abs(pr1B$curve[,3]- 0.20)),c(1,2)]; 
  points( pcord[1], pcord[2], col='black', cex= 2, pch = 17)
  plot(pr2, main = '"Perfect" classifier', auc.main= FALSE, 
       legend=FALSE, col='red', panel.first= grid(), cex.main = 1.5);

$q =0.50$ $q=0.20$ $\frac{P}{N}$ $1$ $\approx 0.40$ $1$

$0$

Kayıt için, PR eğrilerinin kullanımı ile ilgili CV'de çok iyi bir cevap zaten vardı: burada , burada ve burada . Sadece dikkatlice okumak, PR eğrileri hakkında iyi bir genel anlayış sunmalıdır.

— usεr11852
kaynak

1

Bu topluluğa katıldım. Bu, hassas hatırlama eğrilerindeki temel kavramının harika bir açıklamasıdır. Bir biyoinformatikçi olarak bunu son derece yardımcı buldum.

— jimh

1

@jimh: Teşekkür ederim, bunu duymak çok güzel bir şey. Gönderinin yardımcı olduğuna sevindim.

— usεr11852

Yararlı bilgiler getiren bir yorum olmadığını biliyorum, ancak kapsamlı ve göz açıcı açıklamalarınız için çok teşekkür ederim.

— Ric S

0

Yukarıdaki harika cevap. İşte benim sezgisel düşünme şeklim. Bir grup topun kırmızı = pozitif ve sarı = negatif olduğunu ve bunları rastgele bir kovaya = pozitif fraksiyona attığınızı düşünün. Aynı sayıda kırmızı ve sarı topunuz varsa, kepçenizden PREC = tp / tp + fp = 100/100 + 100 hesapladığınızda kırmızı (pozitif) = sarı (negatif), bu nedenle PREC = 0.5. Bununla birlikte, 1000 kırmızı top ve 100 sarı topum olsaydı, o zaman kovada rastgele PREC = tp / tp + fp = 1000/1000 + 100 = 0.91 beklerdim, çünkü bu da RP olan pozitif fraksiyonda şans temelidir / RP + RN, burada RP = gerçek pozitif ve RN = gerçek negatif.

— Christopher John
kaynak