Poisson dağılımının normal dağılımdan farkı nedir?

Aşağıdaki gibi Poisson dağılımına sahip bir vektör oluşturdum:

x = rpois(1000,10)

Kullanarak bir histogram yaparsam hist(x), dağıtım bilinen bir çan şeklindeki normal dağılıma benziyor. Bununla birlikte, Kolmogorov-Smirnoff testi kullanılarak ks.test(x, 'pnorm',10,3)yapılan bir test , dağılımın çok küçük bir pdeğere bağlı olarak normal dağılımdan önemli ölçüde farklı olduğunu söylüyor .

Öyleyse sorum şudur: histogram normal dağılıma bu kadar benziyorsa, Poisson dağılımının normal dağılımdan farkı nedir?

— luciano
kaynak

Ayrıca (David'in cevabına bir eklenti olarak): Bunu okuyun ( stats.stackexchange.com/a/2498/603 ) ve örneklem büyüklüğünüzü 100 olarak ayarlayın ve farkını görün.

— user603

Yanıtlar:

Normal dağılım sürekli iken Poisson dağılımı kesiklidir ve Poisson rasgele değişkeni daima> = 0'dır. Dolayısıyla, bir Kolgomorov-Smirnov testi genellikle farkı söyleyebilecektir.
Bir Poisson dağılımının ortalaması büyük olduğunda, normal dağılıma benzer hale gelir. Ancak, rpois(1000, 10)bile görünmüyor bu normal bir dağılım gibidir (0 olarak kısa durur ve sağ kuyruk çok uzun).
Neden karşılaştırdığınız ks.test(..., 'pnorm', 10, 3)ziyade ks.test(..., 'pnorm', 10, sqrt(10))? 3 ile arasındaki fark küçüktür, ancak dağılımları karşılaştırırken kendisi de bir fark yaratacaktır. Dağılım gerçekten normal olsa bile, muhafazakar bir p-değer dağılımına sahip olursunuz: $\sqrt{10}$
```
set.seed(1)

hist(replicate(10000, ks.test(rnorm(1000, 10, sqrt(10)), 'pnorm', 10, 3)$p.value))
```

görüntü tanımını buraya girin

— David Robinson
kaynak

Genellikle insanlar belirsiz bir şekilde simetrik bir şey görür ve "normal" göründüğünü varsayar. @ Ross'un gördüklerinden şüpheleniyorum.

— Fraijo

KS testinin genel olarak sürekli dağılımlar üstlendiğine dikkat edin, bu nedenle bu durumda bildirilen p değerine güvenmek biraz şüpheli olabilir.

— kardinal

Doğru: koşmak hist(replicate(1000, ks.test(rpois(1000, 10), rpois(1000, 10))$p.value))iki özdeş Poisson dağılımını karşılaştıran bir testin çok tutucu olacağını göstermektedir.

— David Robinson,

@Fraijo: gerçekten. Bu tema hakkında daha genel bir sorumuz var: Histogramım çan şeklinde bir eğri gösteriyorsa, verilerimin normal dağıldığını söyleyebilir miyim?

— Silverfish

İşte bunu anlamanın çok daha kolay yolu:

Binom dağılımına, çoğu dağıtımın "anası" olarak bakabilirsiniz. Normal dağılım, n yeterince büyüdüğünde Binom dağılımının yaklaşık bir değeridir. Aslında, Abraham de Moivre Binom dağılımını yaklaşık olarak hesaplamaya çalışırken normal dağılışı keşfetti, çünkü Binom dağılımını hesaplamak hızlı bir şekilde elden çıkar, çünkü n büyüdükçe özellikle bilgisayarlarınız olmadığında ( referans ).

Poisson dağılımı aynı zamanda Binom dağılımının bir başka yaklaşımıdır, ancak n büyük ve p küçük olduğunda normal dağılıma göre çok daha iyidir , ya da ortalama olarak varyansla yaklaşık olarak aynı olduğunda daha kesindir (Binom dağılımında, ortalama = np ve var = np (1-p)) ( referans ). Bu özel durum neden bu kadar önemli? Anlaşılan gerçek dünyada çok fazla yüzey var ve bu yüzden bu "özel" yaklaşıma sahibiz. Aşağıdaki örnek, Poisson yaklaşımının gerçekten harika çalıştığı senaryoları göstermektedir.

Örnek

100.000 bilgisayardan oluşan bir veri merkezimiz var. Herhangi bir bilgisayarın bugün başarısız olma ihtimali 0.001. Yani ortalama olarak np = 100 bilgisayar veri merkezinde başarısız oluyor. Bugün sadece 50 bilgisayarın başarısız olma olasılığı nedir?

Binomial: 1.208E-8
Poisson: 1.223E-8
Normal: 1.469E-7

Aslında, normal dağılım için yaklaştırma kalitesi, dağıtımın kuyruğuna girerken boşa gider, ancak Poisson çok güzel bir şekilde durmaya devam eder. Yukarıdaki örnekte, bugün yalnızca 5 bilgisayarın başarısız olma ihtimalinin ne olduğunu düşünelim?

Binomial: 2.96E-36 
Poisson: 3.1E-36
Normal: 9.6E-22

Umarım, bu size bu 3 dağıtımın sezgisel olarak daha iyi anlaşılmasını sağlar.

— Shital Shah
kaynak

Ne şaşırtıcı ve harika bir cevap! Çok teşekkürler. :)

— Bora M. Alper

Bir Poisson ( ) , ile bir Binomial'ın ( , ) sınırlayıcı bahsetmeye değer olduğunu düşünüyorum . $\lambda$ $n$ $p_n$ $p_n = \lambda / n$

Bu blogda oldukça uzun bir gelişme bulunabilir .

Ancak bunu ekonomik olarak da burada ispatlayabiliriz. Eğer , sabit $X_n \sim \mathrm{Binomial}(n,\lambda/n)$ $k$

\begin{aligned} P (X_{n} = k) & = \frac{n!}{k! (n - k)!} {(\frac{λ}{n})}^{k} {(1 - \frac{λ}{n})}^{n - k} \\ = \underset{\to 1}{\underset{⏟}{\frac{n! n^{- k}}{(n - k)!}}} \frac{λ^{k}}{k!} \underset{\to e^{- λ}}{\underset{⏟}{(1 - λ / n)^{n}}} \cdot \underset{\to 1}{\underset{⏟}{(1 - λ / n)^{- k}}} . \end{aligned}

$\begin{align} \mathbb P(X_n = k) &= \frac{n!}{k!(n-k)!} \left(\frac{\lambda}{n}\right)^k \left(1-\frac{\lambda}{n}\right)^{n-k} \\ &= \underbrace{\frac{n! n^{-k}}{(n-k)!}}_{\to 1} \frac{\lambda^k}{k!}\underbrace{(1-\lambda/n)^n}_{\to e^{-\lambda}} \cdot \underbrace{(1-\lambda/n)^{-k}}_{\to 1} \>. \end{align}$

İlk ve son terimlerin kolayca olarak 1'e yaklaştığı görülür ( sabit olduğunu hatırlayarak ). Yani, olarak beri . $n \to \infty$ $k$

P (X_{n} = k) \to \frac{e^{- λ} λ^{k}}{k!},

$\mathbb P(X_n = k) \to \frac{e^{-\lambda} \lambda^k}{k!} \,,$

n \to \infty

$n \to \infty$

(1 - λ / n)^{n} \to e^{- λ}

$(1-\lambda/n)^n \to e^{-\lambda}$

Ek olarak, Binom için normal bir yaklaşıma sahiptir, yani Binom ( , ) . Yaklaşım olarak geliştirir ve uzaklıkta 0 ve 1. Tabii ki, Poisson rejimine kalır, bu durum böyle değildir (çünkü orada ), fakat daha büyük bir büyüktür olabilir ve hala makul bir normal yaklaşım olabilir. $n$ $p$ $\approxeq^d \mathcal N(np, np(1-p))$ $n \rightarrow \infty$ $p$ $p_n = \lambda / n \rightarrow 0$ $\lambda$ $n$

— muratoa
kaynak

(+1) Siteye Hoşgeldiniz. Birkaç düzenleme yaptım; lütfen bu işlemde herhangi bir hata yapmadığımı kontrol edin. Son cümlede en son ifadeden ne yapılacağından emin değildim. Bazı ek açıklamalar yararlı olabilir.

— kardinal,

Bunun yönünü sevdim, ancak üç dağıtım arasındaki bağlantıları daha net hale getirerek eldeki soruya biraz daha yakın ilişki kurmanın yolları olabilir. Örneğin (a) Bir binom rastgele değişkeni (sekans), olduğu sürece bir Poisson gibi davranır , (b) Bir binom (sekans), yaklaşık olarak sabit bir sabit olduğu sürece normal gibi davranır ve (c ) bir Poisson (dizi), esasen sonsuz bölünebilirliği nedeniyle büyük için normal gibi davranır .

n p_{n} \approx λ

$n p_n \approx \lambda$

p

$p$

λ

$\lambda$

— kardinal

Güzel yorumlar @cardinal. Sabit geniş için son cümlede, Hakkında daha büyük büyük (örneğin yakın olan ). Bu nedenle, Binom'a ve sırayla Poisson'a Normal yaklaşım daha iyi.

n

$n$

λ

$\lambda$

p_{n}

$p_n$

1 / 2

$1/2$

— muratoa

Teşekkürler. Şimdi ne söylemeye çalıştığını anladım. Genel olarak, sabit olduğu düşünülen ve diğerleri ile değişkenlik gösteren parametreler arasındaki ilişkiyle ilgili bazı özenlerin alınması gerektiğine dikkat ediyorum. :)

— kardinal

Selam Murat ve siteye hoşgeldiniz! seni burada görmek güzel ve umarım etrafta dolaşırsın. Açıklama yapmak için 1 neden zaman poisson histogramı normal o çok benziyor büyüktür.

λ

$\lambda$

— Makro