Olay olasılığını tahmin eden modelin doğruluğunu belirleme

Bir olayı a ve b olmak üzere iki sonucu modelleniyorum. A veya b'nin gerçekleşme olasılığını tahmin eden bir model oluşturdum (yani model, a'nın% 40 şansla olacağını ve b'nin% 60 şansla olacağını hesaplayacaktır).

Modelden tahminler ile yapılan çalışmaların sonuçları hakkında büyük bir kaydım var. Modelin bu verileri ne kadar doğru kullandığını ölçmek istiyorum - bu mümkün mü, eğer öyleyse nasıl?

predictive-models scoring-rules

— Peter
kaynak

Yanılıyor olabilirim ama bence modelinizin eğitim ve / veya test hatası ile ilgileniyorsunuz. Örneğin, bakınız: cs.ucla.edu/~falaki/pub/classification.pdf

— Stijn

@Stijn Doğrudan a veya b olarak sınıflandırmak yerine olasılığı tahmin ediyor, bu yüzden bu metriklerin istediği şey olduğunu düşünmüyorum.

— Michael McGowan

Modelin sonunda sınıflandırma için ne kadar iyi performans göstereceğiyle daha fazla ilgileniyor musunuz (bu durumda ROC ve AUC türü analiz en alakalı görünüyor ( en.wikipedia.org/wiki/Receiver_operating_characteristic )? olasılık tahminleri (yani P (Sonuç = A) =% 60 gerçekten% 60 anlamına gelir veya sadece bu sonuç = A diğer sonuçlardan daha olasıdır ...

— DavidR

Olasılık puanlaması hakkında bilmek istediğiniz gibi geliyor .

— whuber

Karar Analizi'nin bu sayısında yer alan bir makale olan Elvis dikkatimi olasılık puanlamasına çekti. Konuyla ilgili önemli literatür üzerine kurulu gibi görünüyor. (Yine de özetten daha fazlasına erişimim yok, bu yüzden makalenin kendisi hakkında yorum yapamam.) Derginin editörlerinin bir kapak makalesinde ( serbestçe kullanılabilir ) aynı konuda birkaç önceki makaleden bahsediliyor.

— whuber

Modelinizin gerçekten A'nın% 40 ve B'nin% 60 şansı olduğunu tahmin ettiğini varsayalım. Bazı durumlarda, bunu B'nin gerçekleşeceği bir sınıflandırmaya dönüştürmek isteyebilirsiniz (çünkü A'dan daha olasıdır). Bir sınıflandırmaya dönüştürüldükten sonra, her tahmin ya doğru ya da yanlıştır ve bu doğru ve yanlış cevapları hesaplamak için bir dizi ilginç yol vardır. Birincisi doğru doğruluktur (doğru cevapların yüzdesi). Diğerleri arasında hassasiyet ve geri çağırma veya F-ölçümü bulunur . Diğerlerinin de belirttiği gibi, ROC eğrisine bakmak isteyebilirsiniz . Ayrıca, bağlamınız gerçek pozitifleri gerçek negatiflerden farklı olarak ödüllendiren ve / veya yanlış pozitifleri yanlış negatiflerden farklı şekilde cezalandıran belirli bir maliyet matrisi sağlayabilir.

Ancak, gerçekten aradığınızı sanmıyorum. B'nin% 60 olma şansı olduğunu söylediyseniz ve bunun% 99 olma şansı olduğunu söyledim, her ikisi de basit bir sınıflandırma sisteminde B'ye eşlense bile çok farklı tahminlerimiz var. Bunun yerine A gerçekleşirse, ben çok yanlışken yanılıyorsun, umarım senden daha sert bir ceza alırım. Modeliniz gerçekten olasılıklar ürettiğinde, bir puanlama kuralı olasılık tahminlerinizin performansının bir ölçüsüdür. Özellikle de uygun bir puanlama kuralı istiyorsunuz , yani puan iyi kalibre edilmiş sonuçlar için optimize edilmiştir.

B S = \frac{1}{N-} Σ_{t = 1}^{N-} (f_{t} - Ö_{t})^{2}

$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$

f_{t}

$f_t$

o_{t}

$o_t$

Elbette seçtiğiniz puanlama kuralı türü, ne tür bir olay öngörmeye çalıştığınıza bağlı olabilir. Ancak, bu size daha fazla araştırma yapmanız için bazı fikirler verecektir.

Ne yaparsanız yapın modelinizi bu şekilde değerlendirirken, örnek dışı veriler (yani modelinizi oluşturmak için kullanılmayan veriler) metriğinize bakmanızı öneririm. Bu çapraz doğrulama ile yapılabilir . Belki daha basit bir şekilde, modelinizi bir veri kümesinde oluşturabilir ve daha sonra başka bir veri üzerinde değerlendirebilirsiniz (örnek dışı sonuçlardan örnek içi modellemeye dökülmemesine dikkat etmek).

— Michael McGowan
kaynak