Hiyerarşik lojistik regresyon için neden Bernoulli parametresinde beta dağıtımı kullanıyorsunuz?

Şu anda Kruschke'nin mükemmel "Bayesian Veri Analizi Yapıyor" kitabını okuyorum. Bununla birlikte, hiyerarşik lojistik regresyon (Bölüm 20) bölümü biraz kafa karıştırıcıdır.

Şekil 20.2, Bernoulli parametresinin bir sigmoid fonksiyon aracılığıyla dönüştürülen katsayılar üzerinde doğrusal bir fonksiyon olarak tanımlandığı hiyerarşik bir lojistik regresyonu tarif eder. Bu, çevrimiçi olarak diğer kaynaklarda da gördüğüm örneklerin çoğunda hiyerarşik lojistik regresyonun ortaya çıkış şekli gibi görünüyor. Örneğin - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

Bununla birlikte, öngörücüler nominal olduğunda, hiyerarşiye bir katman ekler - Bernoulli parametresi şimdi mu ve kappa tarafından belirlenen parametrelerle bir beta dağılımından (Şekil 20.5) çekilir; burada mu, katsayıların doğrusal fonksiyonunun sigmoid dönüşümüdür ve kappa önceden bir gama kullanır.

Bu, bölüm 9'daki madeni para çevirme örneğine makul ve benzer görünüyor, ancak nominal tahmincilerin bir beta dağılımı eklemekle ne ilgisi olduğunu görmüyorum. Metrik öngörücüler için neden böyle bir şey yapılmasın ve nominal öngörücüler için beta dağılımı neden eklendi?

EDIT: Bahsettiğim modellerle ilgili açıklama. İlk olarak, metrik öngörücülere sahip bir lojistik regresyon modeli (daha önce beta yok). Bu, yukarıdaki hata örneği gibi diğer hiyerarşik lojistik regresyon örneklerine benzer:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

Sonra nominal öngörücüler ile örnek. Burada, hiyerarşinin "düşük" seviyesinin (lojistik sonucu bir binomdan önce bir betaya dahil etme) ve metrik örnekten neden farklı olması gerektiğini tam olarak anlamıyorum.

z_{ben} ~ Çöp Kutusu (θ_{ben}, N-) θ_{ben} ~ Beta ({bir}_{j}, b_{j}) {bir}_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ ~ Γ (S_{κ}, {R,}_{κ}) μ_{j} = sig (β_{0} + \underset{j}{Σ} β_{j} x_{j ben}) β_{0} ~ N- (M_{0}, T_{0}) β_{j} ~ N- (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} ~ katlanmış t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
kaynak

Yanıtlar:

Karşılaştırdığınız iki modelin birçok yabancı özelliği var ve bence aşağıdaki iki basitleştirilmiş model bağlamında sorunuzu daha net bir şekilde ifade edebilirsiniz:

Model 1:

\begin{aligned} y_{ben} | μ_{ben} & ~ Bern (μ_{ben}) \\ μ_{ben} & ~ π (μ_{ben}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

Model 2:

\begin{aligned} y_{ben} | θ_{ben} & ~ Bern (θ_{ben}) \\ θ_{ben} | μ_{ben}, κ & ~ Beta (μ_{ben} κ, (1 - μ_{ben}) κ) \\ μ_{ben} & ~ π (μ_{ben}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

Sorularınız: (1) beta dağıtımının hangi rolü oynadığı; ve ilgili olarak, (2) Model 2'nin Model 1'den (eğer varsa) farkı nedir?

Yüzeyde bunlar oldukça farklı modeller gibi görünmektedir, ancak aslında her iki modeldeki marjinal dağılımları aynıdır. Model 1'deki posterior dağılımı ise, Model 2'deki marjinal arka dağılımı : $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{ben} | y_{ben}) α μ_{ben}^{y_{ben}} (1 - μ_{ben})^{1 - y_{ben}} π (μ_{ben}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{ben} | y_{ben}, κ) & α \int_{0}^{1} \frac{θ_{ben}^{y_{ben} + μ_{ben} κ - 1} (1 - θ_{ben})^{κ (1 - μ_{ben}) - y_{ben}}}{B (κ μ_{ben}, κ (1 - μ_{ben}))} d θ π (μ_{ben}) \\ α \frac{B (y_{ben} + μ_{ben} κ, 1 - y_{ben} + κ (1 - μ_{ben})) π (μ_{ben})}{B (κ μ_{ben}, κ (1 - μ_{ben}))} \\ α μ_{ben}^{y_{ben}} (1 - μ_{ben})^{1 - y_{ben}} π (μ_{ben}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

Bu nedenle, Model 2'yi kullanmaktan kazanılan herhangi bir avantaj hesaplanabilir. Model 2'de eklenmesi gibi hiyerarşik modellerin aşırı parametrelendirilmesi bazen örnekleme prosedürünün verimliliğini artırabilir; örneğin, parametre grupları arasına koşullu eşlenik ilişkiler ekleyerek (bkz. Jack Tanner'ın cevabı) veya ilgili parametreler arasındaki korelasyonu kırarak (google "Parametre Genişletme"). $\theta_i$

— jmtroos
kaynak

Bernoulli parametresini bir beta dağılımından çekmenin nedeni, beta'nın binom ile eşlenik olmasıdır . Bir konjügatın önceden dağıtılması , kapalı formlu bir çözeltinin posterioru bulmasını sağlar.

EDIT: açıklayıcı. Her iki model de çalışır. MCMC ile bile, eşdeğer önceliklere sahip olmak yararlıdır çünkü bu, genel örnekleyicilere göre daha verimli olan çeşitli dağıtım türleri için özel örnekleyicilerin kullanımına izin verir. Örneğin, JAGS kullanım kılavuzuna bakın. 4.1.1 ve sn 4.2.

— Jack Tanner
kaynak

Benim sorum kitapta yeterli bağlam olmayabilir, ancak bu analizler Gibbs örneklemesi ile yapılır, bu yüzden posteriorun kapalı form gösterimi gerekli değildir. Bağladığım örnekte, bernoulli parametresi bir beta dağılımı olarak sabit değildir, ancak normal olarak dağıtılmış katsayıları olan lineer öngörücülerin sigmoid dönüşümünden kaynaklanır. Bu aynı zamanda Kruschke'nin bölümde daha önceki bir örneği (metrik öngörücülerle) nasıl sunacağıdır (bernoulli parametresi, normal olarak dağıtılmış katsayılarla lineer fonksiyonun sigmoid dönüşümüdür)

— user4733

@ user4733 Jack Tanner, bernoulli numunelerinden önce beta'nın konjugat olduğu konusunda haklı. seçildiği bir tesadüfden daha fazlası gibi görünüyor. Evet, posterior dağılımı elde etmek için Gibbs örneklemesi yapıyor olabilirsiniz, ancak hiyerarşik bir modelde, daha önce dahil olan birden fazla var ve bir hiperparametreye (önceki dağılımlar ailesinin bir parametresi) bir öncekini koyuyor olabilirsiniz. Bu bağlamda daha önce bir konjugat kullanmak uygun olabilir. Kitabın açıklamasının bir kısmı bizim için kafa karıştırıcı

— Michael R. Chernick

Neler olup bittiğini anlama yeteneğimizde boşluklar yaratan küçük alıntılar yapıyorsunuz.

— Yardımcı

Önerdiğim hiyerarşik modellere bazı açıklamalar eklendi. Umarım yardımcı olur.

— user4733 17:12