Büyük verilerle Poisson regresyonu: ölçüm birimini değiştirmek yanlış mı?

Bir poisson dağılımındaki faktöriye bağlı olarak, gözlemler büyük olduğunda poisson modellerini (örneğin, maksimum olasılık kullanarak) tahmin etmek pratik olmaz. Yani, örneğin, belirli bir yıldaki intihar sayısını açıklamak için bir model tahmin etmeye çalışıyorsam (sadece yıllık veriler mevcuttur) ve her yıl binlerce intihar var, yüzlerce intihar ifade etmek yanlış mı , böylece 2998 29,98 ~ = 30 olur? Başka bir deyişle, verileri yönetilebilir hale getirmek için ölçü birimini değiştirmek yanlış mıdır?

\ Lambda (parametresi) gibi büyük değerlere sahip bir Poisson dağılımı ile uğraşırken, Poisson dağılımına normal bir yaklaşım kullanmak yaygındır.

Gibi bu site bahseder, bu \ lambda 20'den fazla aldığında normale tahminini kullanmak için tüm doğru, ve \ lambda da yüksek alır gibi yaklaşım geliştirir.

Poisson dağılımı yalnızca negatif olmayan tamsayılardan oluşan durum alanı üzerinde tanımlanır, bu nedenle yeniden ölçeklendirme ve yuvarlama verilerinize tuhaf şeyler katacaktır.

Normal yakl. büyük Poisson istatistikleri için ÇOK yaygındır.

Poisson durumunda, sayımlar sayıldığından kötüdür - birimleri birliktir. Öte yandan, R gibi bazı gelişmiş yazılımlar kullanırsanız, Poisson işleme işlevleri bu kadar büyük sayıların farkında olacak ve bunları işlemek için bazı sayısal hileler kullanacaktır.

Açıkçası normal yaklaşımın başka bir iyi yaklaşım olduğu konusunda hemfikirim.

Çoğu istatistiksel paket, faktöriyelin doğal logaritmasını doğrudan hesaplama fonksiyonuna sahiptir (örneğin R'deki lfactorial () fonksiyonu, Stata'daki lnfactorial () fonksiyonu). Bu, isterseniz sabit terimi günlük olasılığına dahil etmenizi sağlar.

Korkarım bunu yapamazsın. @Baltimark'ın belirttiği gibi, büyük lambda ile dağılım daha normal bir şekle (simetrik) sahip olacak ve ölçeklendirildiğinde artık poisson dağılımı olmayacaktır. R'de aşağıdaki kodu deneyin:

poi1 = rpois(100000, lambda = 5)  # poisson
poi2 = rpois(100000, lambda = 100)/20 # scaled-down poisson
poi2_dens = density(poi2)

hist(poi1, breaks = 0:30, freq = F, ylim = range(poi2_dens$y))
lines(poi2_dens, col = "red")

Sonuç aşağıdadır:

Ölçeklendirilmiş poisson (kırmızı çizgi) 'nin poisson dağılımından tamamen farklı olduğunu görebilirsiniz.

Maksimum olasılığı kullanırken 'faktöriyeli' göz ardı edebilirsiniz. İşte intihar örneğinizin nedeni. İzin Vermek:

λ: Yıllık beklenen intihar sayısı

k _i : _i yılında intiharların sayısı olun.

Sonra günlük olasılığını maksimuma çıkarırsınız:

LL = ∑ (k _i günlüğü (λ) - λ - k _i !)

Yukarıda maksimize k olarak aşağıdakileri maksimize eşdeğerdir _i ! sabittir:

LL ^' = ∑ (k _i günlüğü (λ) - λ)

Faktöriyörün neden bir sorun olduğunu açıklayabilir misiniz? Bir şey mi kaçırıyorum?