F-tedbirinin (hassasiyet ve hatırlamaya dayalı olarak) bir sınıflandırıcının ne kadar doğru olduğunun bir tahmini olduğunu anlıyorum. Ayrıca, dengesiz bir veri setimiz olduğunda , f-ölçüsü doğruluktan daha fazla tercih edilir . Basit bir sorum var (teknolojiden çok doğru terminolojiyi kullanmakla ilgili). Dengesiz bir veri kümem var ve deneylerimde f-ölçü kullanıyorum. Bir makine öğrenimi / veri madenciliği konferansı için OLMAYAN bir makale yazmak üzereyim . Bu nedenle, bu bağlamda eş anlamlı olarak f-ölçüsünden söz edebilirim. Örneğin, 0.82'lik bir f ölçüme sahibim, o zaman sınıflandırıcımın% 82 doğru tahminler yaptığını söyleyebilir miyim?

Her şeyden önce, "doğruluk" u bazen biraz yanıltıcı buluyorum, çünkü bu farklı şeyleri ifade ediyor:

Vadeli doğruluğu sistemleri veya metotları (ı analitik kimyager değilim) değerlendirmek için geneal tahminlerin çalışma önyargı ifade eder, yani iyi tahminler ortalama ne kadar soru cevaplar.

Bildiğiniz gibi, sınıflandırıcılar için performansın farklı yönlerine cevap veren birçok farklı performans ölçüsü vardır. Bunlardan birine de doğruluk denir. Makaleniz makine öğrenimi / sınıflandırma kitlesi için değilse, bu ayrımı çok netleştirmenizi öneririm. Doğrulukun bu daha belirgin anlamı için bile, sınıf dengesizliği ile başa çıkmanın birkaç yolu ortaya çıkabileceğinden, doğruluk dediğim şeyin çok açık olacağını söyleyebilirim. Tipik olarak, sınıf dengesizliği göz ardı edilir ve iyi bilinir.$\frac{TP+TN}{all~cases}$hesaplama. Bununla birlikte, ortalamanızı ağırlıklandırarak sınıf dengesizliğini kontrol etmeye karşılık gelen duyarlılık ve özgüllük ortalamasını da kullanabilirsiniz.

F-skor genellikle hassas ve hatırlama harmonik ortalama (veya pozitif öngörü değeri ve hassasiyet) olarak tanıtıldı. Sorunuz için bunu biraz daha açıklamak ve basitleştirmek yararlı olduğunu düşünüyorum:

$F = \frac{2 \cdot precision \cdot recall}{precision + recall} = \frac{2 \frac{TP}{all~P} \frac{TP}{all T}}{\frac{TP}{all~P} + \frac{TP}{all T}} = \frac{2 \frac{TP^2}{all~P \cdot all T}}{\frac{TP \cdot all~T}{all~P \cdot all T} + \frac{TP \cdot all~P}{all~P \cdot all T}} = \frac{2~TP^2}{TP \cdot all~T + TP \cdot all~P} = \frac{2~TP}{all~T + all~P}$

Son ifade, belirli bir grup test vakası olarak düşünebileceğim bir şeyin parçası değildir . Özellikle, DOĞRU ve POZİTİF durumlar arasında (ağır) bir çakışma beklenmektedir. Bu, bir F puanını yüzde olarak ifade etmemi engelleyecek, çünkü bu tür vakaların bir kısmını ima ediyor. Aslında okuyucuya F-skorunun böyle bir yorumu olmadığı konusunda uyardım.

Hızlı cevap:

Hayır, F-measureformül TNfaktörden oluşmaz ve sorunların giderilmesinde yararlıdır ^(doc) .

Bu nedenle, ( F-measure) dengesiz veri kümelerini değerlendirmek ve accuracyve yerine alma sorunları durumunda doğru yaklaşımdır ROC.

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ NOT ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)