F1 Optimal Eşiği nedir? Nasıl hesaplanır?

Diğer istatistiklerle birlikte sonuçta bir olasılık tablosu veren R'de h2o.glm () işlevini kullandım. Acil durum tablosu " F1 Optimal Threshold'a dayalı Çapraz Sekme "

Wikipedia , F1 Puanını veya F Puanını hassasiyet ve hatırlamanın harmonik ortalaması olarak tanımlar. Ancak, sadece bir lojistik regresyonun tahmin edilen değerlerinin sonucu (örneğin, bir kesme kullanılarak ikiliye dönüştürüldüğünde) Kesinlik ve Geri Çağırma bulunmaz.

Şimdi kesme ile F1 Skoru ve Optimal Eşik arasındaki bağlantı nedir hatırlıyorum. Optimal eşik nasıl hesaplanır? F1 optimal eşiği nasıl hesaplanır?

Maalesef bir şeyi kaçırırsam, burada istatistiklerde yeniyim.

threshold

— SoakingHummer
kaynak

Aslında bu konuda makine öğreniminde ilk makalemi yazdım. İçinde, sınıflandırıcınız kalibre edilmiş olasılıklar çıkardığında (lojistik regresyon için olması gerektiği gibi) optimal eşiğin elde ettiği F1 puanının yaklaşık 1/2 olduğunu tespit ettik. Bu size biraz sezgi verir. Optimal eşik asla .5'ten fazla olmayacaktır. F1'iniz .5 ve eşik .5 ise, eşiği düşürerek F1'i iyileştirmeyi beklemelisiniz. Öte yandan, eğer F1 .5 ve eşik .1 ise, muhtemelen F1'i geliştirmek için eşiği artırmalısınız.

Tüm detayları ve F1'in neden optimize etmek için iyi bir önlem olabileceğini veya olmayabileceğini gösteren bir tartışma (hem tekli hem de çok etiketli durumda) burada bulunabilir:

https://arxiv.org/abs/1402.1892

Maalesef bu gönderinin dikkatimi çekmesi 9 ay sürdü. Bilgileri hala yararlı bulacağınızı umuyoruz!

— Zachary Chase Lipton
kaynak

F1> 1 olabilir mi? % 90 A ve% 10 ~ A'ya sahipseniz,> .5 bir eşik isteyeceğinizi düşünürüm.

— gung - Monica'yı eski

Merhaba @gung. Hayır, tanımı gereği F1 = 2 * p * r / (p + r) ve tüm F-beta ölçümlerinde olduğu gibi [0,1] aralığı vardır. Sınıf dengesizliği F1 puanı aralığını değiştirmez. Bazı uygulamalar için, aslında .5'ten daha yüksek bir eşik değere sahip tahminler isteyebilirsiniz. Özellikle, yanlış pozitiflerin yanlış negatiflerden daha kötü olduğunu düşündüğünüzde bu olur. Ancak böyle bir eşik F1 puanını optimize etmez. Nedenini anlamak için, F1 skoru bilgi alımı bağlamında geliştirilmiştir. Bu ortamlarda, pozitif sınıf nadirdir ve genellikle yanlış pozitifler yanlış negatifler kadar pahalı değildir.

— Zachary Chase Lipton

@ZacharyChaseLipton Diyelim ki train / val / test'e bölünmüş bir veri setim var. Bir olasılık çıktı veren bir sınıflandırıcı için, en iyi F1'i veren eşiği inceleyerek doğrulama kümesinde en uygun F1 eşiğini seçerdim. Bu, eşiği seçmek en iyi modeli seçmeye benzer göründüğü için makul görünmektedir. Yapılacak doğru şey bu mu?

— pir

Dahası, olasılıkları (SVM gibi) vermeyen bir sınıflandırıcıya sahip olduğumu varsayın. O zaman doğrulama setindeki F1'i nasıl optimize edersiniz?

— pir

Bir soruya girdim

— pir