Olasılık modellerini kalibre ederken optimum hazne genişliği nasıl seçilir?

Arka plan: Burada, bir sonucun gerçekleşme olasılığını tahmin eden modellerin nasıl kalibre edileceğine dair bazı harika sorular / cevaplar bulunmaktadır. Örneğin

1. Brier puanı ve çözüm, belirsizlik ve güvenilirliğe ayrışması .
2. Kalibrasyon grafikleri ve izotonik regresyon .

Bu yöntemler genellikle öngörülen olasılıklar üzerinde bir binning yönteminin kullanılmasını gerektirir, böylece sonucun (0, 1) davranışı, ortalama sonuç alınarak bin üzerinde yumuşatılır.

Sorun: Ancak, bölme genişliğini nasıl seçeceğimi söyleyen hiçbir şey bulamıyorum.

Soru: En uygun kutu genişliğini nasıl seçerim?

Deneme: Kullanımda olan iki yaygın bölme genişliği şöyle görünmektedir:

1. Eşit genişlikte bölme, örneğin her biri 10 [0, 1] aralığının% 10'unu kaplayan 10 kutu.
2. Tukey'in binning yöntemi burada tartışıldı .

Ancak, en yanlış ayarlanmış tahmin edilen olasılıklarda aralıklar bulmakla ilgileniyorsa, kutuların bu seçimleri en uygun mu?

Binning kullanan herhangi bir istatistiksel yöntem nihayetinde geçersiz kabul edilmiştir. Sürekli kalibrasyon eğrisi tahmini 1990'ların ortalarından beri yaygındır. Yaygın olarak kullanılan yöntemler, loess (aykırı durum tespiti kapalıyken), doğrusal lojistik kalibrasyon ve spline lojistik kalibrasyonudur. Bunu Regresyon Modelleme Stratejileri kitabımda ve ders notlarında ayrıntılı olarak ele alıyorum . Bkz. Http://www.fharrell.com/p/blog-page.html . R rmspaketi, bağımsız bir harici örnek kullanarak veya orijinal model geliştirme örneğindeki bootstrap kullanarak pürüzsüz parametrik olmayan kalibrasyon eğrilerinin elde edilmesini kolaylaştırır.

Deneyimlerime göre binning, olasılık dağılımlarını görselleştirmek için iyidir, ancak eğer istatistiksel testler ve / veya parametre çıkarımı için kullanmak istiyorsa, genellikle kötü bir fikirdir. Birincisi, hassasiyeti hemen hazne genişliği ile sınırladığı için. Bir başka yaygın problem, değişkenin bağlı olmadığı, yani düşük ve yüksek kesiklerin eklenmesi gerektiğidir.

Kolmogorov-Smirnov ruhunda kümülatif dağılımlarla çalışmak bu sorunların çoğunu atlatır. Bu durumda da birçok iyi istatistiksel yöntem vardır. (bkz. ör. https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )