Çapraz doğrulama kullanırken ortalama hassasiyet ve hatırlama

2 sınıf etiketli veriler için birden fazla sınıflandırıcı kullanarak sınıflandırma yaptım ve 5 kat çapraz doğrulama kullandım. Her kat için tp, tn, fp ve fn hesapladım. Sonra her test için doğruluk, kesinlik, geri çağırma ve F-skorunu hesapladım. Sorum şu: Sonuçları ortalamak istediğimde, ortalama doğrulukları aldım, ancak hassasiyeti, hatırlamayı ve F-puanını da ortalama alabilir miyim? Yoksa bu matematiksel olarak yanlış mı olur? PS Her katta kullanılan veri kümeleri, sınıf başına örnek sayısı açısından iyi dengelenmiştir.

Teşekkürler.

classification cross-validation precision-recall

— Kalaji
kaynak

Çapraz doğrulama kullanarak F ölçüsünün (harmonik hassasiyet ve hatırlama ortalaması) hesaplanmasında da aynı sorunla karşılaştım. Olarak , bu kağıt aslında tam set F-ölçü işlem ve ortalama yok olduğunu göstermiştir, daha az eğimli bir yöntemdir. Umarım bu yardımcı olabilir

— papafe

@markusian Lütfen bunu cevap olarak ekleyin! Bu sayfadaki en önemli şey !!

— drevicko

her zamanki tanımı kullandığınız varsayarak -score, zaten hassas ve hatırlama bir kombinasyonudur. Özellikle, bunların harmonik ortalamasıdır. Başka bir deyişle, Bir sistemin 'etkinliğini' yakalamak kullanıcı hassasiyet ve geri çağırma üzerine eşit ağırlık verir. skoru adı verilen bir uzantı var ve bu da katsayıdan daha fazla ağırlık veriyor. Açık Öte yandan, 5 ortalamasını yapıp yapamayacağınızı soruyorsanız $F$

F_{1} = 2 \cdot \frac{precision \cdot recall}{precision + recall}

$F_1 = 2\cdot\frac{\textrm{precision} \cdot \textrm{recall}}{\textrm{precision} + \textrm{recall}}$

F_{β}

$F_\beta$

β

$\beta$

F_{β} = (1 + β^{2}) \frac{precision \cdot recall}{(β^{2} \cdot precision) + recall}

$F_\beta = (1+\beta^2) \frac{\textrm{precision} \cdot \textrm{recall}}{(\beta^2 \cdot\textrm{precision}) + \textrm{recall}}$

F

$F$ (her kattan bir tane), o zaman cevap evettir. Aslında, bir sistemin performansını rapor etmenin tipik yolu budur!

Sınıflandırıcıların genelleme hatası hakkında çıkarımlarda bulunmak için bu değerleri kullanmanın bazı sorunları olduğunu unutmayın. Örneğin, bir sınıflandırıcı için puanları ile başka bir sınıflandırıcı için puanları arasındaki testi çok iyimser olacaktır. $t$ $F$ $F$

— Matt Krause
kaynak

Evet, ilk formülü kullandım. Bu, farklı testlerden F skorunun ortalamasının ortalama hassasiyet ve hatırlama ile benzer sonuçlar verdiği ve daha sonra onlardan F skorunun hesaplandığı anlamına gelir. Bunu sahip olduğum sonuçlarda denedim ve neredeyse aynıydı. Teşekkürler.

— Kalaji