Poisson modellerinin çapraz doğrulanması için hata ölçümleri

Sayımı tahmin etmeye çalışan bir modeli çapraz onaylıyorum. Bu ikili bir sınıflandırma problemi olsaydı, katlanma dışı AUC'yi hesaplardım ve bu bir regresyon sorunu olsaydı, katlanma dışı RMSE ya da MAE'yi hesaplardım.

Poisson modelinde, örnek dışı tahminlerin "doğruluğunu" değerlendirmek için hangi hata ölçümlerini kullanabilirim? Tahminlerin gerçek değerleri ne kadar iyi sipariş ettiğini gösteren bir AUC Poisson uzantısı var mı?

Sayılar için birçok Kaggle yarışmasının (örneğin, bir rahatsızlık incelemesinin alacağı faydalı oyların sayısı veya bir hastanın hastanede geçireceği gün sayısı) kök ortalama kütük kare hatası veya RMLSE kullandığı görülüyor.

/ Edit: Yaptığım bir şey, öngörülen değerlerin decilesini hesaplamak ve sonra decile ile hesaplanmış gerçek sayılara bakmaktır. Decil 1 düşükse, Decil 10 yüksektir ve aradaki düşüşler kesinlikle artıyor, modeli "iyi" olarak adlandırıyorum ancak bu süreci ölçmekte güçlük çektim ve daha iyisi olduğuna ikna oldum yaklaşım.

/ Düzen 2: Öngörülen ve gerçek değerleri alan ve bazı "hata" ya da "doğruluk" metriği veren bir formül arıyorum. Planım, çapraz onaylama sırasındaki katlanmayan verilerde bu işlevi hesaplamak ve ardından çok çeşitli modelleri (örneğin bir poisson regresyonu, rastgele bir orman ve bir GBM ) karşılaştırmak için kullanmaktır.

Örneğin, böyle bir işlev RMSE = sqrt(mean((predicted-actual)^2)). Böyle bir başka fonksiyon AUC olacaktır . Her iki fonksiyon da poisson verileri için doğru görünmüyor.

Kullanabileceğiniz sayım verileri için birkaç uygun ve kesinlikle uygun puanlama kuralı vardır. Puanlama kuralları cezalar ile sunulan prediktif dağılımı ve olmak gözlenen değer. Öncelikle, gerçek olasılıklara daha yakın olan bir tahminin daima daha az ceza alacağı ve (benzersiz) en iyi tahminin olacağı ve öngörülen olasılığın gerçek olasılık ile çakıştığı zaman olduğu düşünülen birçok arzu edilen özelliğe sahiptir. Böylece beklentisini en aza indirgemek, gerçek olasılıkları bildirmek anlamına gelir. Ayrıca bakınız Vikipedi .P y s ( y , P $s(y,P)$$P$$y$$s(y,P)$

Genellikle, tahmin edilen değerlerin üzerinde olanların ortalaması,

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

Hangi kuralın uygulanacağı hedefinize bağlıdır, ancak her biri kullanım için uygun olduğunda kaba bir karakterizasyon vereceğim.

Bundan sonra, yordayıcı olasılık kütle fonksiyonu ve yordayıcı kümülatif dağılım fonksiyonu için kullanın . Bir , sayım dağılımının tüm desteğini (örneğin, ) geçer. bir gösterge işlevi belirtmektedir. ve , tahmine dayalı dağılımın ortalama ve standart sapmasıdır (genellikle sayı veri modellerinde doğrudan tahmin edilen miktarlardır). Pr ( Y = y ) I μ $f(y)$$\Pr(Y=y)$∑ k 0 , 1 , … , $F(y)$$\sum_k$$0,1,\dots, \infty$$I$$\mu$$\sigma$

Kesinlikle uygun puanlama kuralları

• Brier Score : (kategorik tahminlerde boyut dengesizliği için kararlı)$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• Dawid-Sebastiani skoru : (genel prediktif model seçimi için iyi; kategorik prediktörlerde boyut dengesizliği için kararlı)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• Sapma skoru : ( , sadece bağlı bir normalleştirme terimidir, Poisson modellerinde genellikle doymuş sapma olarak alınır; bir ML çerçevesi)g y$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• Logaritmik puan : (çok kolay hesaplanır; kategorik yordayıcılarda boyut dengesizliği için kararlı)$s(y,P)=-\log f(y)$
• olasılık skoru : (çok yüksek sayıların farklı tahminlerini zıt ; kategorik tahminlerde boyut dengesizliğine duyarlıdır)$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• Küresel puan : (kategorik yordayıcılarda boyut dengesizliği için kararlı)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

Diğer puanlama kuralları (çok uygun değil ancak sık kullanılan)

• Mutlak hata puanı :(uygun değil)$s(y,P)=|y-\mu|$
• Kare hata skoru : (kesinlikle uygun değil; aykırı değerlere duyarlı; kategorik yordayıcılarda boyut dengesizliğine duyarlı)$s(y,P)=(y-\mu)^2$
• Pearson normalleştirilmiş kare hata skoru : (kesinlikle uygun değil; aykırı değerlere duyarlı; model puanının ortalama puan olup olmadığını kontrol etmek için kullanılabilir. 1'den çok farklıdır; kategorik yordayıcılarda boyut dengesizliği için kararlıdır.$s(y,P)=(\frac{y-\mu}{\sigma})^2$

Kesinlikle uygun kurallar için örnek R kodu:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)