Farklı olasılıklar için olasılık dağılımı

16 denemede 9 başarı olasılığını elde etmek isteseydim, her deneme için 0.6'lık bir olasılık varsa binom dağılımını kullanabilirdim. 16 denemenin her birinin farklı bir başarı olasılığı varsa ne kullanabilirim?

Bu, 16 (muhtemelen bağımsız) Binom denemelerinin toplamıdır. Bağımsızlık varsayımı, olasılıkları çoğaltmamıza izin verir . , ve olasılıkları olan iki denemeden sonra her iki denemede başarı şansı , başarı şansı ve bir başarı şansı . Bu son ifadenin geçerliliği, tam olarak bir başarı elde etmenin iki yolunun birbirini dışlayan olduğu gerçeğine borçludur: birçoğu gerçekten olabilir. Bu onların olasılıkları eklediği anlamına gelir .$p_1$$p_2$$p_1 p_2$$(1-p_1)(1-p_2)$$p_1(1-p_2) + (1-p_1)p_2$

Bu iki kural sayesinde - bağımsız olasılıklar çarpı ve karşılıklı münhasır olanları ekler - olasılıklar olan 16 deneme için cevapları . Bunu yapmak için verilen her bir başarı sayısını (9 gibi) elde etmenin tüm yollarını hesaba katmanız gerekir. 9 başarıya ulaşmak için yol vardır. Örneğin bunlardan biri, 1, 2, 4, 5, 6, 11, 12, 14 ve 15 numaralı denemelerin başarı, diğerleri başarısız olduğunda ortaya çıkar. Başarılar arasında ve olasılıkları vardı ve başarısızlıklar olasılıklarına sahipti. . Bu 16 sayının çarpılması şans veriyor$p_1, \ldots, p_{16}$$\binom{16}{9} = 11440$$p_1, p_2, p_4, p_5, p_6, p_{11}, p_{12}, p_{14},$$p_{15}$$1-p_3, 1-p_7, \ldots, 1-p_{13}, 1-p_{16}$Bu belirli sonuç dizisinin. Bu rakamın 11.439 ile birlikte toplanması, bu rakamların cevaplarını vermektedir.

Elbette bir bilgisayar kullanırsın.

16'dan fazla denemeyle, dağıtımı yaklaşık olarak belirleme ihtiyacı vardır. ve olasılıklarının hiçbiri çok küçük , Normal bir yaklaşım iyi çalışma eğilimindedir. Bu yöntemle, deneme toplamının beklentisinin ve (denemelerin bağımsız olması nedeniyle) varyansın . Daha sonra toplamların dağılımının Normal ortalama ve standart sapma ile Normal olduğunu iddia etmiş . Cevaplar, farklı olan başarı oranına karşılık gelen olasılıkları hesaplamak için iyi olma eğilimindedir.$p_i$$1-p_i$$n$$\mu = p_1 + p_2 + \cdots + p_n$$\sigma^2 = p_1(1-p_1) + p_2(1-p_2) + \cdots + p_n(1-p_n)$$\mu$$\sigma$$\mu$ birkaç katları daha fazla olmadan . As büyük yetişir bu yaklaşım her zamankinden daha doğru olur ve hatta daha büyük katları için çalışır uzak .$\sigma$$n$$\sigma$$\mu$

@ Whuber'in normal yaklaşımına bir alternatif "karıştırma" olasılıkları veya hiyerarşik bir model kullanmaktır. Bu, şekilde benzer olduğunda ve bunu, bazı parametre tarafından indekslenen yoğunluk fonksiyonuna sahip bir olasılık dağılımı ile . İntegral bir denklem elde edersiniz:s ı ~ D i'nin s t ( θ ) g ( s | θ ) $p_i$$p_i\sim Dist(\theta)$$g(p|\theta)$$\theta$

$$Pr(s=9|n=16,\theta)={16 \choose 9}\int_{0}^{1} p^{9}(1-p)^{7}g(p|\theta)dp$$

Binom olasılık ) ayarından gelir, normal yaklaşım (sanırım) ayarından gelir) ( @ whuber'ın cevabında tanımlandığı şekilde ve ) ve sonra " Bu PDF'nin kuyrukları "tepe noktasının etrafında keskin bir şekilde düşüyor.g ( p | θ ) = g ( p | μ , σ ) = $g(p|\theta)=\delta(p-\theta)$μ$g(p|\theta)=g(p|\mu,\sigma)=\frac{1}{\sigma}\phi\left(\frac{p-\mu}{\sigma}\right)$$\mu$$\sigma$

Aynı zamanda, basit bir analitik forma götürecek olan ve normal yaklaşımın yaptığı "küçük p" probleminden muzdarip olmayan, beta oldukça esnek olduğu bir beta dağılımı da kullanabilirsiniz. Aşağıdaki denklemlerin çözümleri tarafından ayarlanan ile bir dağılımı kullanmak (bu "en küçük KL sapması" tahminleridir):α , $beta(\alpha,\beta)$$\alpha,\beta$

ψ(β)-ψ(α+β)=

$$\psi(\alpha)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[p_{i}]$$ $$\psi(\beta)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[1-p_{i}]$$

Burada digamma fonksiyonudur - yakından harmonik seri ile ilgili.$\psi(.)$

"Beta-binom" bileşik dağılımını elde ediyoruz:

$${16 \choose 9}\frac{1}{B(\alpha,\beta)}\int_{0}^{1} p^{9+\alpha-1}(1-p)^{7+\beta-1}dp ={16 \choose 9}\frac{B(\alpha+9,\beta+7)}{B(\alpha,\beta)}$$

Bu dağılım, @whuber'ın işaret ettiği durumda normal bir dağılıma doğru yaklaşır - ancak küçük ve çarpık için makul cevaplar - ancak beta dağılımının sadece bir tepe noktası olduğu için multimodal için değil . Ancak , modları için beta dağıtımlarını kullanarak bunu kolayca çözebilirsiniz . Eğer elde edilen bütün kırmak içine her parça (parametrelerinin hesaplanması için ve yeterli veri) benzersiz bir modu, böylece parçalar, ve her bir parça içinde bir beta dağılımı uygun. Daha sonra not sonuçları toplayın bu değişkenler değişikliğini gerçekleştirmek için içinp i p i M M 0 < p < 1 M p = x - $n$$p_i$$p_i$$M$$M$$0<p<1$$M$ L<x<$p=\frac{x-L}{U-L}$$L<x<U$ beta integrali dönüştürür:

$$B(\alpha,\beta)=\int_{L}^{U}\frac{(x-L)^{\alpha-1}(U-x)^{\beta-1}}{(U-L)^{\alpha+\beta-1}}dx$$

Let ~ olasılık üretme fonksiyonu (PGF) ile:$X_i$$Bernoulli(p_i)$

$$\text{pgf} = E[t^{X_i}] = 1 - p_i (1-t)$$

Let toplamı belirtmektedir , bağımsız rastgele değişken. Daha sonra, toplam için PGF ve gibi değişkenlere olduğu:$S = \sum_{i=1}^n X_i$$n$$S$$n=16$

$$\begin{align*}\displaystyle \text{pgfS} &= E[t^S] \\&= E[t^{X_1}] E[t^{X_2}] \dots E[t^{X_{16}}] \text{ (... by independence)} \\ &= \prod _{i=1}^{16} \left(1-p_i(1-t) \right)\end{align*}$$

ararız :$P(S=9)$

$$\frac{1}{9!}\frac{d^9 \text{pgfS}}{dt^9}|_{t=0}$$

HEPSİ TAMAM. Bu, bir fonksiyonu olarak tam sembolik çözümü üretir . Yanıt, ekrana yazdırmak için oldukça uzun, ancak tamamen izlenebilir ve bilgisayarımdaki Mathematica'yı kullanarak değerlendirmek için saniyeden daha az sürüyor .$p_i$$\frac{1}{100}$

Örnekler

Eğer , o zaman: $p_i = \frac{i}{17}, i= 1 \text{ to } 16$$P(S=9) = \frac{9647941854334808184}{48661191875666868481} = 0.198268 \dots$

Eğer , o zaman: $p_i = \frac{\sqrt{i}}{17}, i= 1 \text{ to } 16$$P(S=9) = 0.000228613 \dots$

16 den fazla deneme mi?

16 den fazla denemede, dağıtımı yaklaşık olarak hesaplamanıza gerek yoktur. Yukarıdaki kesin yöntem, veya diyen örnekler için olduğu kadar kolay çalışır . Örneğin, olduğunda , aşağıdaki kodu kullanarak pmf'nin tamamını ( yani her ) değerlendirmek için saniyeden daha az sürer .$n = 50$$n = 100$$n = 50$$\frac{1}{10}$$s = 0, 1, \dots, 50$

Mathematica kodu

değerlerinden oluşan bir vektör verildiğinde , şunu söyleyin:$p_i$

n = 16;   pvals = Table[Subscript[p, i] -> i/(n+1), {i, n}];

... burada gereken her şeyi yapmak için bazı Mathematica kodu:

pgfS = Expand[ Product[1-(1-t)Subscript[p,i], {i, n}] /. pvals];
D[pgfS, {t, 9}]/9! /. t -> 0  // N

0.198268

Tüm pmf'yi türetmek için:

Table[D[pgfS, {t,s}]/s! /. t -> 0 // N, {s, 0, n}]

... veya daha düzgün ve daha hızlı kullanın (aşağıdaki Ray Koopman'ın önerisi sayesinde):

CoefficientList[pgfS, t] // N

olan bir örnek için, hesaplamak için sadece 1 saniye , daha sonra tüm pmf'yi kullanarak hesaplamak için 0.002 saniye sürer , bu yüzden son derece verimlidir.$n = 1000$pgfSCoefficientList

@wolfies yorum yaptı ve buna cevap verme girişimim, daha sonra tartışacağım diğer cevabımla ilgili önemli bir sorun ortaya çıkardı.

Özel Durum (n = 16)

Hesaplamada temel 2 (ikili) sayıları kullanmanın "hilesini" kullanarak tam dağıtımı kodlamanın oldukça etkili bir yolu vardır. tam dağılımını elde etmek için sadece 4 satırlık bir R kodu gerektirir, burada . Temel olarak, ikili değişkenlerinin vektörünün toplam seçeneği vardır . Şimdi her bir farklı seçimi kadar saydığımızı varsayalım . Bu kendi başına özel bir şey değil, ancak şimdi temel 2 aritmetik kullanarak "seçim sayısını" temsil ettiğimizi varsayalım. Şimdi böylece tüm seçenekleri yazarım böylece$Y=\sum_{i=1}^{n} Z_i$$Pr(Z_i=1)=p_i$$2^n$$z=(z_1,\dots,z_n)$$Z_i$$1$$2^n$$n=3$$2^3=8$seçimler. Ardından "normal sayılar" da "ikili sayılar" içinde olur . Şimdi bunları dört haneli bir sayı olarak yazdığımızı varsayalım, sonra . Şimdi her sayının son - , olarak düşünülebilir. , vb. . . Neyse ki, bizim için bu ikili dönüşümü yapabilen bir R fonksiyonu var, çağırıldı ve ham ikili formu bir sayısal araca dönüştürelim , sonra ile bir vektör elde edelim.$1,2,3,4,5,6,7,8$$1,10,11,100,101,110,111,1000$$0001,0010,0011,0100,0101,0110,0111,1000$$3$$001$$(Z_1=0,Z_2=0,Z_3=1)\implies Y=1$intToBits(x)as.numeric(intToBits(x))$32$Elementler, her bir eleman sayımızın temel 2 versiyonunun basamağıdır (sağdan sola okunur, soldan sağa değil). Bu numarayı diğer bazı R vektörleşmeleriyle birleştirerek , 4 kod satırındaki olasılığını hesaplayabiliriz :$y=9$

exact_calc <- function(y,p){
    n       <- length(p)
    z       <- t(matrix(as.numeric(intToBits(1:2^n)),ncol=2^n))[,1:n] #don't need columns n+1,...,32 as these are always 0
    pz      <- z%*%log(p/(1-p))+sum(log(1-p))
    ydist   <- rowsum(exp(pz),rowSums(z))
    return(ydist[y+1])
}

Tek tip bir durumda nin ve sqrt root case tam bir dağıtım verir y için:$p_i^{(1)}=\frac{i}{17}$$p_i^{(2)}=\frac{\sqrt{i}}{17}$

$$\begin{array}{c|c}y & Pr(Y=y|p_i=\frac{i}{17}) & Pr(Y=y|p_i=\frac{\sqrt{i}}{17})\\ \hline 0 & 0.0000 & 0.0558 \\ 1 & 0.0000 & 0.1784 \\ 2 & 0.0003 & 0.2652 \\ 3 & 0.0026 & 0.2430 \\ 4 & 0.0139 & 0.1536 \\ 5 & 0.0491 & 0.0710 \\ 6 & 0.1181 & 0.0248 \\ 7 & 0.1983 & 0.0067 \\ 8 & 0.2353 & 0.0014 \\ 9 & 0.1983 & 0.0002 \\ 10 & 0.1181 & 0.0000 \\ 11 & 0.0491 & 0.0000 \\ 12 & 0.0139 & 0.0000 \\ 13 & 0.0026 & 0.0000 \\ 14 & 0.0003 & 0.0000 \\ 15 & 0.0000 & 0.0000 \\ 16 & 0.0000 & 0.0000 \\ \end{array}$$

Yani belirli problemi için de başarılar denemeler, kesin hesaplamalar düz ileri. Bu aynı zamanda kadar bir dizi olasılık için de geçerlidir - bunun ötesinde, hafıza problemleriyle karşılaşmaya başlamanız muhtemeldir ve farklı hesaplama püf noktaları gereklidir.$y$$16$$n=20$

Önerilen "beta dağılımımı" uygulayarak parametre tahminlerini ve bunun yaklaşık olarak eşit bir olasılık tahmini verdiğini ve yaklaşık olarak değerinde bir değer verdiğini . Bu, ile beta dağılımının yoğunluğunun , değerlerinin histogramına yaklaştığı göz önüne alındığında garip görünüyor . Ne yanlış gitti?$\alpha=\beta=1.3206$$y$$pr(y=9)=0.06799\approx\frac{1}{17}$$\alpha=\beta=1.3206$$p_i$

Genel dava

Şimdi daha genel durumu ve neden basit beta yaklaşımımın başarısız olduğunu tartışacağım. Temel olarak, yazıp ardından üzerine başka bir ile karıştırmak aslında önemli bir varsayımda bulunuyor - asıl olasılığı tahmin edebiliriz tek bir binom olasılık - kalan tek sorun hangi değeri kullanması gerektiğidir. Bunu görmenin bir yolu, gerçek üzerinde tek biçimli olan karıştırma yoğunluğunu kullanmaktır . Bu yüzden beta dağılımını ayrı bir$(y|n,p)\sim Binom(n,p)$$p$$p\sim f(\theta)$$p$$p_i$$p\sim Beta(a,b)$$p\sim \sum_{i=1}^{16}w_i\delta(p-p_i)$. Daha sonra, karıştırma yaklaşımının kullanılması, olasılıklı bir değeri ve tüm denemelerinin bu olasılığa sahip olduğunu varsaydığı$p_i$$w_i$ gibi sözcüklerle ifade edilebilir . Açıkçası, böyle bir yaklaşımın iyi çalışması için değerlerinin çoğunun birbirine gerekir. Bu, temel olarak, @wolfies için tekdüze değerlerin dağılımı için, , beta karıştırma dağılımını kullanırken çok kötü bir yaklaşımla sonuçlanır. Bu ayrıca, yaklaşımın için neden daha iyi olduğunu da açıklar - daha az yayılırlar.$p_i$$p_i=\frac{i}{17}$$p_i=\frac{\sqrt{i}}{17}$

Karıştırma daha sonra, gözlemlenen , tek bir bütün olası seçimlerine göre ortalamalamak için kullanır . Şimdi "karıştırma" ağırlıklı bir ortalama gibi olduğundan, en iyi tek kullanmaktan daha iyisini yapamaz . Dolayısıyla eğer yeterince yayılmışsa, tüm iyi bir yaklaşım sağlayabilecek tek bir .$p_i$ $p$$p$$p_i$$p$$p_i$

Diğer cevabımda söylediğim bir şey, sınırlı bir aralıkta beta dağılımlarının bir karışımını kullanmanın daha iyi olacağıydı - ama bu hala burada yardımcı olmayacak , çünkü bu hala tek bir üzerinde . Daha anlamlı olan, aralığın parçalara bölünmesi ve her parçanın içinde bir binom bulunmasıdır. Örneğin olarak seçim yapabilir ve her olasılık aralığında dokuz binom yerleştirebiliriz . Temel olarak, her bölünme içinde, ortalamasına eşit olasılıkla bir binom kullanmak gibi basit bir yaklaşıma$p$$(0,1)$$(0,0.1,0.2,\dots,0.9,1)$$0.1$$p_i$bu aralıkta. Aralıkları yeterince küçük yaparsak, yaklaşım keyfi olarak iyi olur. Ama bunu yapar hepsi not olduğunu indpendent toplamı ile uğraşmak zorunda bize bırakın binom yerine, farklı olasılıklar ile denemeler Bernoulli denemeleri. Bununla birlikte, bu cevabın önceki kısmı binom sayısının yeterince küçük olması şartıyla tam hesaplamaları yapabileceğimizi göstermiştir, örneğin 10-15.

Bernulli-temelli cevabı binom-temelli bir cevaba genişletmek için, değişkenlerinin ne olduğunu “yeniden yorumluyoruz” . Basitçe, olduğunu - bu, orijinal -tabanlı ancak şimdi başarıların geldiği . Dolayısıyla durum şimdi tüm "başarıların" üçüncü geldiğini ve hiçbirinin ilk ikisinden gelmediğini gösteriyor.$Z_i$$Z_i=I(X_i>0)$$Z_i$$(Z_1=0,Z_2=0,Z_3=1)$

Bu hala "üstel" olduğu Not hesaplamaların sayısı gibi bir şey olduğunu terimliler sayısıdır ve grup boyutu - eğer varsa bu yüzden burada . Fakat bu bernoulli rasgele değişkenleri kullanarak uğraştığınız den daha iyidir . Örneğin, olasılığını her grupta olasılıkla gruba ayırdığımızı varsayalım . Bu, hesaplamayı verir,$k^g$$g$$k$$Y\approx\sum_{j=1}^{g}X_j$$X_j\sim Bin(k,p_j)$$2^{gk}$$n=16$$g=4$$k=4$$4^4=256$$2^{16}=65536$

grup seçerek ve sınırın yaklaşık hücre olan yaklaşık olduğunu belirterek , maksimum çıkarmak için bu yöntemi etkili bir şekilde kullanabiliriz .$g=10$$n=20$$10^7$$n$$n=50$

Bir daha kaba bir yaklaşım yapmak için, düşürerek , biz "uygulanabilir" boyutunu artırır . , etkili bir olabileceği anlamına gelir yaklaşık . Bunun ötesinde, normal yaklaşım son derece doğru olmalıdır.$g$$n$$g=5$$n$$125$

(Genel olarak anlaşılır) pmf R kodu:

$$\Pr(S=k) = \sum_{\substack{A\subset\{1,\dots,n\}\\ |A|=k}} \left( \prod_{i\in A} p_i \right)\left(\prod_{j\in \{1,\dots,n\}\setminus A} (1-p_j) \right) \, .$$

p <- seq(1, 16) / 17
cat(p, "\n")
n <- length(p)
k <- 9
S <- seq(1, n)
A <- combn(S, k)
pr <- 0
for (i in 1:choose(n, k)) {
    pr <- pr + exp(sum(log(p[A[,i]])) + sum(log(1 - p[setdiff(S, A[,i])])))
}
cat("Pr(S = ", k, ") = ", pr, "\n", sep = "")

İçin 'Wolfies cevap kullanılan s elimizde:$p_i$

Pr(S = 9) = 0.1982677

Ne zaman büyür, bir kullanma konvolüsyonunu .$n$