Uygun puanlama kuralları arasında seçim yapma

Uygun puanlama kurallarıyla ilgili çoğu kaynak, log kaybı, Brier puanı veya küresel puanlama gibi farklı puanlama kurallarından bahseder. Ancak, genellikle aralarındaki farklar hakkında çok fazla rehberlik yapmazlar. (Sergi A: Vikipedi .)

Logaritmik skoru maksimize eden modelin seçilmesi, logaritmik skorlamanın kullanılması için iyi bir argüman gibi görünen maksimum olabilirlik modelinin seçilmesine karşılık gelir. Brier veya küresel puanlama veya diğer puanlama kuralları için benzer gerekçeler var mı? Neden birisi bunlardan birini logaritmik puanlama yerine kullanıyor?

Neden birisi bunlardan birini logaritmik puanlama yerine kullanıyor?

Yani ideal, her zaman ayırt bir model uydurma gelen bir karar . Bayesian metodolojisinde, modelleme ve seçim her zaman marjinal olasılık kullanılarak yapılmalıdır . Daha sonra olasılıklı tahminler yapmak için modeli kullanırsınız ve kayıp fonksiyonunuz size bu öngörüler üzerinde nasıl davranacağınızı söyler.

Ne yazık ki, gerçek dünyada, hesaplama performansı genellikle model seçimini ve karar alma sürecini bir araya getirmemizi ve dolayısıyla modellerimiz için uygun bir kayıp işlevi kullanmamızı gerektirir. Bu, model seçimindeki öznellikte ürkütücüdür, çünkü ne kadar farklı türden bir hatanın size mal olacağını tahmin etmeniz gerekir. Klasik örnek, kanser için bir teşhis yöntemidir: birinin kanser olasılığını fazla tahmin etmek iyi değildir, ancak bunu daha da kötüleştirmek.

Bir kenara, bir puanlama kuralının nasıl seçileceğine dair rehberlik arıyorsanız, bu iki konu hakkındaki literatürün çok fazla olduğunu düşündüğümden, bir kayıp fonksiyonunu seçme veya bir yardımcı fonksiyon tasarlama konusunda da rehberlik isteyebilirsiniz. daha hacimli.