Bir kalıbın kaç tarafı var? JAGS'ta Bayesci çıkarım

Sorun

Bilinmeyen sayıda taraf ile ölmeye benzer bir sistem üzerinde bazı çıkarımlarda bulunmak istiyorum. Kalıp birkaç kez yuvarlanır, bundan sonra kalıbın sahip olduğu taraf sayısına karşılık gelen bir parametre üzerinden olasılık dağılımını çıkarmak istiyorum, θ.

Sezgi

Eğer 40 rulodan sonra 10 kırmızı, 10 mavi, 10 yeşil ve 10 sarı görüyorsanız, θ 4'te zirve yapmalı ve her iki tarafın yuvarlanma eğilimleri 1/4 merkezli dağılımlardır.

θ Verilerde gözlenen farklı tarafların sayısı olmak üzere önemsiz bir alt sınır vardır.

Üst sınır hala bilinmiyor. Muhtemelen düşük bir önyargıya sahip olan beşinci bir taraf olabilir. Beşinci kategoriden yoksun ne kadar fazla veri gözlemlerseniz, θ = 4 posterior olasılığı o kadar yüksek olur.

Yaklaşmak

JAGS'ı burada uygun görünen benzer problemler için (R ve rjags aracılığıyla) kullandım.

Verilere ilişkin olarak, obs <- c(10, 10, 10, 10)yukarıdaki örnekte yer alan gözlemlere karşılık geldiğini varsayalım.

Bence gözlemler obs ~ dmulti(p, n), nerede p ~ ddirch(alpha)ve olmak üzere, çok terimli bir dağılımla modellenmelidir n <- length(obs).

θ ima edilen kategori sayısıyla bağlantılıdır alpha, bu yüzden alphaolası farklı sayıda kategoriyi kapsayacak şekilde nasıl modelleme yapabilirim ?

Alternatifler?

Bayesian analizlerinde oldukça yeniyim, bu yüzden yanlış ağacı tamamen havlıyor olabilirsiniz, bu sorun hakkında farklı görüşler sağlayabilecek alternatif modeller var mı?

Çok teşekkürler! David

r probability bayesian jags

— davipatti
kaynak

Bu, 'tür örnekleme' olarak adlandırılan, yıllar boyunca çok dikkat çeken ve diğer birçok tahmin problemini (mark-recapture gibi) kapsayan ilginç bir sorundur. JAGS bu durumda size yardımcı olmayacaktır - JAGS, iterasyonlar boyunca değişken bir boyuta sahip Markov zincirlerini işleyemez. Geri dönüşümlü atlama MCMC gibi sorunlar için tasarlanmış bir MCMC planına başvurulmalıdır.

Jeff Miller'ın ( arxived ) çalışmasında ilk karşılaştığım, tanımladığınız belirli model için uygun olan bir yaklaşım .

Bölüm I (Orijinal soru)

Yapacağım bir varsayım, belirli bir kategorideki bir gözlemin, daha düşük seviyedeki kategorilerin varlığını ima ettiği. Yani, 9 tarafındaki bir kalıp rulosunun gözlemlenmesi, 1-8 taraflarının varlığını ima eder. Bu şekilde olmak zorunda değil - kategoriler keyfi olabilir - ama örneğimde bunu varsayacağım. Bu, diğer tür tahmini problemlerinin aksine 0 değerlerinin gözlemlenebilir olduğu anlamına gelir.

Diyelim ki çok terimli bir örneğimiz var,

Y = {y_{1}, y_{2}, \dots, y_{m}, y_{m + 1}, \dots, y_{n}} \sim M ({p_{1}, p_{2}, \dots, p_{m}, p_{m + 1}, \dots, p_{n}})

$Y = \{y_1, y_2, \dots, y_m, y_{m+1}, \dots, y_{n} \} \sim \mathcal{M}(\{p_1, p_2, \dots, p_m, p_{m+1}, \dots, p_n\})$

nerede $m$ gözlemlenen maksimum kategori, $n$ (bilinmeyen) kategori sayısı ve tümü $\{y_{m+1},\dots,y_{n}\}$ 0'a eşittir. $n$ sonlu ve bunun için bir önceliğe ihtiyacımız var. Herhangi bir ayrık, uygun destek ile önce $[1, \infty)$ çalışacak; örneğin sıfır kesilmiş bir Poisson'u ele alalım:

n \sim P (λ), n > 0

$n \sim \mathcal{P}(\lambda), n > 0$

Çok terimli olasılıklar için uygun bir öneri Dirichlet'tir,

P = {p_{1}, \dots, p_{n}} \sim D ({α_{1}, \dots, α_{n}})

$P = \{ p_1, \dots, p_n \} \sim \mathcal{D}(\{ \alpha_1, \dots, \alpha_n \})$

Ve basit bir şekilde $\alpha_1 = \alpha_2 = \dots = \alpha_n = \tilde{\alpha}$ .

Sorunu daha izlenebilir hale getirmek için ağırlıkları marjinalleştiriyoruz:

p (Y | \tilde{α}, n) = \int_{P} p (Y | P, n) p (P | \tilde{α}, n) d P

$p(Y|\tilde{\alpha}, n) = \int_P p(Y|P, n)p(P|\tilde{\alpha}, n) dP$

Bu durumda, iyi çalışılmış Dirichlet-multinom dağılımına yol açar . Amaç, koşullu posterioru tahmin etmektir,

p (n | Y, \tilde{α}, λ) = \frac{p (Y | n, \tilde{α}) p (n | λ)}{p (Y | \tilde{α}, λ)}

$p(n|Y, \tilde{\alpha}, \lambda) = \frac{ p(Y|n, \tilde{\alpha}) p(n|\lambda) }{ p(Y|\tilde{\alpha}, \lambda) }$

Açıkça varsaydığım yer $\tilde{\alpha}$ ve $\lambda$ sabit hiperparametrelerdir. Bunu görmek kolaydır:

p (Y | \tilde{α}, λ) = \sum_{n = 1}^{\infty} p (Y | n, \tilde{α}) p (n | λ)

$p(Y|\tilde{\alpha}, \lambda) = \sum_{n=1}^\infty p(Y|n, \tilde{\alpha}) p(n|\lambda)$

Nerede $p(Y|n, \tilde{\alpha}) = 0$ nerede $n < m$ . Bu sonsuz seri oldukça hızlı bir şekilde birleşmelidir (önceki kuyruk çok ağır olmadığı sürece) ve bu yüzden yaklaşık olarak kolay. Kesik Poisson için şu şekle sahiptir:

p (Y | \tilde{α}, λ) = \frac{1}{(e^{λ} - 1)} \sum_{n = m}^{\infty} \frac{Γ (n \tilde{α}) \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})}{Γ (n \tilde{α} + \sum_{i = 1}^{n} y_{i}) Γ (\tilde{α})^{n}} \cdot \frac{λ^{n}}{n!}

$p(Y|\tilde{\alpha}, \lambda) = \frac{1}{(e^\lambda - 1)} \sum_{n=m}^\infty \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!}$

Giden:

p (n | Y, \tilde{α}, λ) = \frac{Γ (n \tilde{α}) \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})}{Γ (n \tilde{α} + \sum_{i = 1}^{n} y_{i}) Γ (\tilde{α})^{n}} \cdot \frac{λ^{n}}{n!} \cdot {(\sum_{j = m}^{\infty} \frac{Γ (j \tilde{α}) \prod_{i = 1}^{j} Γ (y_{i} + \tilde{α})}{Γ (j \tilde{α} + \sum_{i = 1}^{j} y_{i}) Γ (\tilde{α})^{j}} \cdot \frac{λ^{j}}{j!})}^{- 1}

$p(n|Y,\tilde{\alpha}, \lambda) = \frac{\Gamma(n\tilde{\alpha})\prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})}{\Gamma(n\tilde{\alpha} + \sum_{i=1}^n y_i) \Gamma(\tilde{\alpha})^n} \cdot \frac{\lambda^n}{n!} \cdot \left(\sum_{j=m}^\infty \frac{\Gamma(j\tilde{\alpha})\prod_{i=1}^j \Gamma(y_i + \tilde{\alpha})}{\Gamma(j\tilde{\alpha} + \sum_{i=1}^j y_i) \Gamma(\tilde{\alpha})^j} \cdot \frac{\lambda^j}{j!}\right)^{-1}$

Hangi desteği var $[m, \infty)$ . Bu durumda MCMC'ye ihtiyaç yoktur, çünkü Bayes kuralının paydasında sonsuz seriler çok fazla çaba sarf edilmeden yaklaşık olarak tahmin edilebilir.

İşte R'de özensiz bir örnek:

logPosteriorN <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        posterior <- lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { posterior <- posterior + (j-m)*lgamma(alpha) } 
        else if( j < m ) { posterior = -Inf }
        prior + posterior
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

## with even representation of sides
Y <- c(10, 10, 10, 10)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

## with uneven representation of sides
Y <- c(1, 2, 1, 0, 0, 2, 1, 0, 1)
post <- logPosteriorN(30, Y, 10, 1.2)
plot(1:30, exp(post), pch=19, type="b")

Sezginiz doğrudur: Kategoriler arasında seyrek örnekleme, toplam kategori sayısı hakkında daha fazla belirsizlik yaratır. Tedavi etmek istersen $\tilde{\alpha}$ bilinmeyen bir parametre olarak, MCMC'yi ve alternatif güncellemelerini kullanmanız gerekir. $n$ ve $\tilde{\alpha}$ .

Tabii ki, bu kestirime bir yaklaşımdır. Biraz arama yaparak diğerlerini (Bayesian ve Bayes dışı lezzetler) kolayca bulacaksınız.

Bölüm II (Yoruma cevap)

$Y = \{y_1, \dots, y_m, y_{m+1}, \dots, y_n \}$ karşılık gelen olasılıkları olan kısmen gözlenen bir multinomiyal vektördür $\Omega = \{\omega_1, \dots, \omega_m, \omega_{m+1}, \dots, \omega_n\}$ :

P r (Y | Ω, n) = \frac{Γ (Σ_{ben = 1}^{n} y_{ben} + 1)}{Π_{ben = 1}^{n} Γ (y_{ben} + 1)} Π_{ben = 1}^{n} ω_{ben}^{y_{ben}}

$\mathrm{Pr}(Y|\Omega, n) = \frac{\Gamma(\sum_{i=1}^n y_i + 1)}{\prod_{i=1}^n \Gamma(y_i + 1) } \prod_{i=1}^n \omega_i^{y_i}$

Nerede $y \in \mathbb{N}$ , $y_1 \dots y_m > 0$ ve $y_{m+1} \dots y_n = 0$ ancak aksi halde endeksler abitrary'dir. Daha önce olduğu gibi, sorun gerçek kategori sayısını çıkarmaktır $n$ ve bir önceki $n$ sıfır kesik Poisson gibi:

P r (n | λ) = \frac{λ^{n}}{(tecrübe {λ} - 1) n!}, n \in Z^{+}

$\mathrm{Pr}(n|\lambda) = \frac{\lambda^{n}}{(\exp\{\lambda\} - 1)n!},~n \in \mathbb{Z}^+$

Ayrıca daha önce olduğu gibi, çok terimli olasılıkları ele alıyoruz $\Omega$ Dirichlet'in simetrik hiperparametre ile dağıtılması $\tilde{\alpha}$ , yani belirli bir $n$ ,

P r (Ω | \tilde{α}, n) = \frac{Γ (n \tilde{α})}{Γ (\tilde{α})^{n}} Π_{ben = 1}^{n} ω_{ben}^{\tilde{α} - 1}

$\mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n\tilde{\alpha})}{\Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \omega_i^{\tilde{\alpha}-1}$

Olasılıklar vektörü üzerine entegrasyon (marjinalleştirme), çok terimli Dirichlet'i verir:

P r (Y | \tilde{α}, n) = \int P r (Y | Ω, n) P r (Ω | \tilde{α}, n) = \frac{Γ (n \tilde{α})}{Γ (\sum_{i = 1}^{n} y_{i} + n \tilde{α}) Γ (\tilde{α})^{n}} \prod_{i = 1}^{n} Γ (y_{i} + \tilde{α})

$\mathrm{Pr}(Y|\tilde{\alpha}, n) = \int \mathrm{Pr}(Y|\Omega, n) \mathrm{Pr}(\Omega|\tilde{\alpha}, n) = \frac{\Gamma(n \tilde{\alpha})} {\Gamma(\sum_{i=1}^n y_i + n \tilde{\alpha}) \Gamma(\tilde{\alpha})^n} \prod_{i=1}^n \Gamma(y_i + \tilde{\alpha})$

Burada, yukarıdaki Bölüm I'deki modelden ayrıldığımız yer. Bölüm I'de, kategoriler için örtük bir sıralama vardı: örneğin, $n$ taraflı kalıp, kategoriler (taraflar) örtülü bir sıralamaya ve herhangi bir kategorinin gözlemlenmesine sahiptir $i \in \{1 \dots n\}$ daha küçük kategorilerin varlığını ima eder $j < i$ . Kısım II'de, örtük bir sıralaması olmayan, kısmen gözlenen çok terimli rastgele bir vektörünüz vardır. Başka bir deyişle, veriler veri noktalarının sırasız bir bölümünü $m \leq n$ gözlenen kategoriler. Kaynaklanan bölümlenmemiş bölümü göstereceğim $Y$ tarafından artırıldı $n-m$ gözlemlenmeyen kategoriler, $\mathcal{P}[Y]$ .

Gerçek sayıda kategoriye bağlı koşulsuz bölümlemenin olasılığı $n$ , aynı bölümle sonuçlanan kategorilerin permütasyon sayısı dikkate alınarak bulunabilir:

P r (P [Y] | \tilde{α}, n) = \frac{n!}{(n - m)!} P r (Y | \tilde{α}, n)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) = \frac{n!}{(n-m)!} \mathrm{Pr}(Y|\tilde{\alpha}, n)$

Ve bu entegre edilebilir $n$ vermek:

P r (P [Y] | \tilde{α}, λ) = Σ_{j = m}^{\infty} P r (P [Y] | \tilde{α}, n) P r (n | λ)

$\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda) = \sum_{j=m}^{\infty} \mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, n) \mathrm{Pr}(n|\lambda)$

Posterioru almak için Bayes kuralını kullanma:

P r (n | P [Y], \tilde{α}, λ) = \frac{P r (P [Y] | n, \tilde{α}) P r (n | λ)}{P r (P [Y] | \tilde{α}, λ)}

$\mathrm{Pr}(n|\mathcal{P}[Y], \tilde{\alpha}, \lambda) = \frac{\mathrm{Pr}(\mathcal{P}[Y]|n, \tilde{\alpha}) \mathrm{Pr}(n|\lambda)}{\mathrm{Pr}(\mathcal{P}[Y]|\tilde{\alpha}, \lambda)}$

Sadece yukarıdaki tanımlardan takın. Yine, payda hızlı bir şekilde yakınlaşacak sonsuz bir seridir: bu basit modelde, MCMC'nin yeterli bir yaklaşım göstermesine gerek yoktur.

Bölüm I'deki R kodunu değiştirerek:

logPosteriorN_2 <- function(max, Y, lambda, alpha){
    m <- length(Y)
    sumy <- sum(Y)
    pp <- sapply(1:max, function(j){
        prior <- log(lambda)*j - log(exp(lambda)-1) - lgamma(j+1)
        likelihood <- lchoose(j, m) + lgamma(m + 1) + lgamma(alpha*j) + sum(lgamma(Y + alpha)) - j*lgamma(alpha) - lgamma(sumy + j*alpha)
        if( j > m ) { likelihood <- likelihood + (j-m)*lgamma(alpha) } 
        else if( j < m ) { likelihood = -Inf }
        prior + likelihood
        })
    evidence <- log(sum(exp(pp))) # there's no check that this converges
    pp - evidence
}

Y_1 <- rep(10, 15)
pos_1 <- logPosteriorN_2(50, Y_1, 6, 1)
plot(1:50, exp(pos_1))

— Nate Pope
kaynak

Çok eksiksiz cevabınız için çok teşekkürler. (Çok yavaş yanıtım için özür dilerim). Bu tür bir soruya geri döndüm ve hala matematikte yoluma devam ediyorum. Sistemimde kategoriler sıralı değildir, bu nedenle belirli bir kategorideki bir gözlemin, daha düşük bir sıradaki kategorilerin varlığını ima ettiği varsayımı geçersizdir.

— davipatti

@davipatti İkinci bölümde cevap verdi.

— Nate Pope