Negatif Binom Dağılımı kullanmak için Poisson Dağılımı Kullanarak Bir İşlemi Modelleme'den Geçiş?

$\newcommand{\P}{\mathbb{P}}$ bir süre zarfında zamanında birden fazla kez gerçekleşmeyebilecek rastgele bir sürecimiz var $T$ . döneminde meydana gelen bir dizi olay olasılığını sağlayan, bu sürecin önceden var olan bir modelinden gelen bir veri beslemesine sahibiz $0 \leq t < T$ . Bu mevcut model eski ve tahmin hataları için feed-data üzerinde canlı kontroller yapmamız gerekiyor. Veri-besleme (olasılığını sağlayan edildiği üretim eski model $n$ zaman kalan meydana gelen olaylar $t$ ) yaklaşık Poisson dağıtılır.

Yani anomaliler / hatalarını kontrol etmek, biz izin $t$ kalan zaman ve $X_t$ toplam etkinlik sayısı kalan süre içinde gerçekleşmesi olmak $t$ . Eski model, tahminlerini ifade eder $\P(X_t \leq c)$ . Bu nedenle, varsayımına göre $X_t\sim \operatorname{Poisson}(\lambda_{t})$ :

P (X_{t} \leq c) = e^{- λ} \sum_{k = 0}^{c} \frac{λ_{t}^{k}}{k!} .

$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$ Olay oranımızı

λ_{t}

$\lambda_t$ eski modelin çıktısından türetmek için (gözlem

y_{t}

$y_{t}$ ), bir durum uzayı yaklaşımı kullanıyoruz ve durum ilişkisini şu şekilde

y_{t} = λ_{t} + ε_{t} (ε_{t} \sim N (0, H_{t})) .

$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$ Filtrelenmiş durumu

elde etmek için

evrimi için bir durum [sabit hız çürüme] modeli kullanarak eski modelden gözlemleri

λ_{t}

$\lambda_t$ filtrelendiriyor ve tahmini olay frekansında bir anormallik / hatayı

E (λ_{t} | Y_{t})

$E(\lambda_t|Y_t)$ .

ise, besleme verileri

E (λ_{t} | Y_{t}) < y_{t}

$E(\lambda_t|Y_t) < y_t$ .

Bu yaklaşım, tahmin edilen olaydaki hataların toplanmasında fevkalade iyi çalışır , süresi boyunca sayılır $T$ , ancak başka bir süre için de aynı şeyi yapmak istiyorsak, $0 \leq t < \sigma$ burada $\sigma < \frac{2}{3} T$ . Bunu şimdi Negatif Binom dağılımını kullanmaya geçmek istediğimize karar verdik, böylece şimdi varsayıyoruz $X_t\sim NB(r, p)$ ve bizde:

P (X_{t} \leq c) = p^{r} Σ_{k = 0}^{c} (1 - p)^{k} (\binom{k + r - 1}{r - 1}),

$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$ burada

parametresi

λ

$\lambda$ şimdi

r

$r$ ve

değiştirilir

p

$p$ . Uygulaması basit olmalı, ancak yorumlama konusunda bazı zorluklar yaşıyorum ve bu nedenle size yardımcı olmak istediğim bazı sorular var:

1. Negatif binom dağılımında sadece değerini ayarlayabilir miyiz $p = \lambda$ ? Değilse neden olmasın?

2. biz ayarlayabilirsiniz varsayarsak $p = f(\lambda)$ nerede $f$ bazı fonksiyonudur, nasıl doğru ayarlanmış olabilir $r$ (biz uygun gerekiyor $r$ geçmiş veri kümelerini kullanarak)?

3. Is $r$ Verilen bir süreçte gerçekleşmesini beklemek olayların sayısına bağlı?

$r$ (ve $p$ ) için tahminleri çıkarmaya yönelik ek :

Aslında bu sorunun tersine çevrilmiş olsaydı ve her işlem için olay sayımımız olsaydı, ve için maksimum olasılık tahmincisini benimseyebileceğimizin farkındayım . Elbette, maksimum olabilirlik tahmincisi yalnızca, örnek varyansının örneklem ortalamasından daha büyük olduğu örnekler için mevcuttur, ancak eğer bağımsız aynı dağılımlı gözlemler için olabilirlik işlevini ayarlayabiliriz as: log-olabilirlik fonksiyonunu şöyle yazabiliriz: $r$ $p$ $N$ $k_1, k_2, \ldots, k_{N}$

L (r, p) = \prod_{i = 1}^{N} P (k_{i}; r, p),

$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$

l (r, p) = \sum_{i = 1}^{N} \ln (Γ (k_{i} + r)) - \sum_{i = 1}^{N} \ln (k_{i}!) - N \ln (Γ (r)) + \sum_{i = 1}^{N} k_{i} \ln (p) + N r \ln (1 - p) .

$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$ Maksimum değeri bulmak için ve göre kısmi türevleri alıyoruz ve bunları sıfıra : Ayar ve ayarı şunu buluruz:

r

$r$

p

$p$

\begin{aligned} \partial_{r} l (r, p) & = \sum_{i = 1}^{N} ψ (k_{i} + r) - N ψ (r) + N \ln (1 - p), \\ \partial_{p} l (r, p) & = \sum_{i = 1}^{N} k_{i} \frac{1}{p} - N r \frac{1}{1 - p} . \end{aligned}

$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$

\partial_{r} l (r, p) = \partial_{p} l (r, p) = 0

$\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$

p = \sum_{i = 1}^{N} \frac{k_{i}}{(N r + \sum_{i = 1}^{N} k_{i})},

$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$

\partial_{r} l (r, p) = Σ_{i = 1}^{N-} ψ (k_{ben} + r) - N- ψ (r) + N- \ln (\frac{r}{r + Σ_{ben = 1}^{N-} \frac{k_{ben}}{N-}}) = 0.

$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$ Bu denklem Newton veya hatta EM kullanılarak kapalı formda r için çözülemez. Ancak, bu durumda durum böyle değil. Biz rağmen olabilir statik almak için geçmiş verileri kullanmak ve bu gerçekten bizim süreci için herhangi kullanım değildir, biz Poisson kullanarak yokmuş gibi, zaman içinde bu parametreleri uyarlamak gerekir.

r

$r$

p

$p$

— Ay Şövalyesi
kaynak

Neden verilerinizi Poisson veya Negative Binomial regresyon modeline eklemiyorsunuz?

— StatsStudent

Ben gerektiğini hissetmiyorum sahip kullanılacak. Poisson'un Negatif Binomial'ın sınırlayıcı bir davası olduğunu akılda bulundurarak, Poisson için yaptığım gibi bu sorunu parametreleştirmenin bir yolu olmalı. Ek olarak, bu süreç binlerce fark süreci için eşzamanlı olarak gerçekleşir ve aynı "olay oranına" sahip değildir, bu parametreler için regresyon analizi tüm canlı işlemler için her yeni gözlemde yapılmalıdır. Bu mümkün değil. Sorularımı ve yorumlarımı okumak için zaman ayırdığınız için çok teşekkür ederiz, çok memnun

— oldum

NB için poisson bağlayan açısından varsa dağılım değişkeni üzerinde gizlenmiş olan böylece ve . Bu, üzerine marjinal bir NB dağılımı . Bunu yardım etmek için kullanabilirsin.

(X_{t} | λ_{t}, r_{t}, g_{t}) \sim P o i s (λ_{t} g_{t})

$(X_t|\lambda_t,r_t,g_t)\sim Pois (\lambda_tg_t)$

(g_{t} | r_{t}) \sim G a m m a (r_{t}, r_{t})

$(g_t|r_t)\sim Gamma (r_t,r_t)$

E (g_{t}) = 1

$E (g_t)=1$

v a r (g_{t}) = r_{t}^{- 1}

$var(g_t)=r_t^{-1}$

g_{t}

$g_t$

— Olasılıksal

Bu harika bir yardım, ancak bunu biraz daha fazla çözebiliyor ve bazı açık ayrıntılar sağlayabiliyor musunuz? Zaman ayırdığınız için çok teşekkürler ...

— MoonKnight

Negatif binom yerine binom kullanmaktan ne haber? Bunu yapmak daha kolay olabilir. Anscombe FJ. Poisson, binom ve negatif-binom verilerinin dönüşümü. Biometrika. 1948; 35: 246-54.

— Carl

Negatif binom dağılımı, binom olasılık modeline çok benzer. Aşağıdaki varsayımlar (koşullar) iyi tutulduğunda uygulanabilir. 1) Sabit sayıda başarıya kadar herhangi bir deney yapılır, örneğin C elde edilir, 2) Her deneyin sonucu iki kategoriden birine ayrılabilir , başarı ya da başarısızlık 3) Başarı olasılığı P her deney için aynıdır 40 Her bir deney diğerlerinden bağımsızdır. İlk koşul, binom ve negatif binom arasındaki tek önemli fark faktörüdür.

— Vishwa Dharma
kaynak

Poisson dağılımı 1) gibi belirli şartlar altında binomun makul bir yaklaşımı olabilir. Her deneme için başarı olasılığı çok düşüktür. P -> 0 2) np = m (diyelim) sonlu İstatistikçiler tarafından en çok kullanılan kural, poisson'un, n'nin 20'ye eşit veya daha büyük olduğu ve p'nin 5'e eşit veya daha az olduğu, binomun iyi bir yaklaşımı olmasıdır. %

— Vishwa Dharma
kaynak