Sıradan En Küçük Kareler neden Poisson regresyonundan daha iyi performans gösteriyor?

Bir şehrin her bölgesindeki cinayet sayısını açıklamak için bir gerileme oluşturmaya çalışıyorum. Verilerimin bir Poisson dağılımını izlediğini bilmeme rağmen, şöyle bir OLS yerleştirmeye çalıştım:

$log(y+1) = \alpha + \beta X + \epsilon$

Sonra, Poisson regresyonunu da denedim. Sahte: Sorun En Küçük Kareler regresyon daha iyi sonuçlar olması $R^2$ yüksektir (0.57 vs 0.71) ve RMSE zamanda (8.88 vs 3.8 Standart özellikleri aynı birim için)..

Neden? Bu normal mi? Verilerin dağılımı ne olursa olsun OLS kullanımında yanlış olan ne?

düzenlemek kjetil b halvorsen ve diğerlerinin önerilerini takip ederek, iki model üzerinden veri uydurdum: OLS ve Negatif Binom GLM (NB). Sahip olduğum tüm özelliklerle başladım, sonra önemli olmayan özellikleri teker teker kaldırtım. OLS

$\sqrt{\frac{crime}{area}} = \alpha + \beta X + \epsilon$

ağırlıklarla = .$area$

summary(w <- lm(sqrt(num/area) ~  RNR_nres_non_daily + RNR_nres_daily + hType_mix_std + area_filtr + num_community_places+ num_intersect + pop_rat_num + employed + emp_rat_pop + nden_daily + nden_non_daily+ bld_rat_area + bor_rat_area + mdist_highways+ mdist_parks, data=p, weights=area))

error2 <- p$num - (predict(w, newdata=p[,-1:-2], type="response")**2)*p$area

rmse(error2)
[1] 80.64783

NB, mahallenin alanı ofset olarak suç sayısını tahmin ediyor.

summary(m3 <- glm.nb(num ~  LUM5_single  + RNR_nres + mdist_daily + mdist_non_daily+ hType_mix_std + ratio_daily_nondaily_area + area_filtr + num_community_places  + employed  + nden_daily + nden_non_daily+ bld_rat_area + bor_rat_area + mdist_smallparks + mdist_highways+ mdist_parks + offset(log(area)), data=p, maxit = 1000))

error <- p$num - predict(m3, newdata=p[,-1:-2], type="response")

rmse(error)
[1] 121.8714

OLS kalıntıları:

NB kalıntıları

Yani RMSE OLS'de daha düşüktür, ancak artıklar o kadar Normal değil gibi görünüyor ...

Sorunun bir kısmının performans metriği seçiminizde olabileceğinden şüpheleniyorum. Test performansını RMSE kullanarak ölçerseniz, MSE'yi en aza indirgemek için modeli eğitmek, test kriteriyle eşleşir ve neyin önemli olduğu hakkında bir ipucu verir. Test performansını, Poisson modelinin daha iyi çalıştığı (beklendiği gibi) bir Poisson olasılığı kullanarak test setinin negatif log olasılığını kullanarak ölçerseniz bulabilirsiniz. Bu, gündeme getirilen diğer sorunlara kıyasla küçük bir sorun olabilir, ancak yararlı bir akıl sağlığı kontrolü olabilir.

İlk olarak, bu tür verilerle aşırı dağılım beklerdim (bunun ne olduğunu bilmiyorsanız, bkz. Https://stats.stackexchange.com/search?q=what+is+overdispersion%3F ).

$\log(\text{DistrictSize})$$\frac{\text{Nr. homicides}}{\text{District Size}}$

Diğer bir konu da doğrusal regresyonda kullandığınız dönüşümdür. Sayım verileriyle kullanılan alışılmış varyans dengeleyici dönüşüm, logaritma değil kare köküdür.

$Y_i/x_i$$Y_i \sim \text{Poisson}(\lambda x_i)$

    EDIT

Yazıdaki ek analizinize gelince, farklı yanıtlar kullanıldığından, rmse'nin iki model arasında doğrudan karşılaştırılamayacağını unutmayın! Doğrudan bir karşılaştırma yapmak için, öngörülen değerleri orijinal ölçeğe geri dönüştürmeniz gerekir. Sonra rmse'yi kendiniz hesaplayabilir ve görebilirsiniz. Ancak, geri dönüşümden sonra elde edilen tahminlerin doğrusal olmamaları nedeniyle taraflı olabileceğini unutmayın. Dolayısıyla, geri dönüştürülmüş tahminlerde yapılan bazı ayarlamalar onları daha kullanışlı hale getirebilir. Bazı durumlarda, bu teorik olarak hesaplanabilir, ancak bir bootstrap kullanabilirsiniz.

$R^2$$R^2$$R^2$$R^2$

Verilerinizin Normal olarak dağıtılmadığı doğrudur (ki bu da Poisson regresyonunu çalıştırmanızın nedenidir), ancak verileriniz muhtemelen bir Poisson dağılımı değildir. Poisson dağılımı, ortalamanın ve varyansın aynı olduğunu varsayar, ki bu muhtemelen böyle değildir (diğer cevaplarda belirtildiği gibi - bu tutarsızlığı yakalayabilir ve modele dahil edebilirsiniz). Verileriniz her iki modele de tam olarak uymadığından, OLS'un daha iyi performans gösterebileceği anlamlıdır.

Dikkat edilmesi gereken başka bir şey, en küçük kareler tahminlerinin normal olmayan bir yapıya karşı sağlam olduğudur, bu yüzden makul bir model alıyorsunuz olabilir. Gauss-Markov Teoremi bize OLS katsayıları tahminlerinin aşağıdaki varsayımlar altında en iyi (ortalama kare hatası açısından) doğrusal yansız tahmin ediciler (MAVİ) olduğunu söyler,

• Hataların ortalaması sıfırdır
• Gözlemler ilişkisiz
• Hatalar sürekli değişime sahiptir

Burada Normallik varsayımı yoktur, bu nedenle verileriniz bu model için çok uygun olabilir! Bununla birlikte, orada pişmiş aşırı dağılım parametresine sahip bir Poisson modeline bakacağım ve daha iyi sonuçlar almalısınız.