Gama dağılımı ile Dirichlet dağılımı yapımı

Let olmak karşılıklı olarak bağımsız rastgele değişken parametreleri ile her biri bir gama dağılımı göstermektedir ki , $X_1,\dots,X_{k+1}$ $\alpha_i,i=1,2,\dots,k+1$ $Y_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,k$ $\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1})$

Ortak PDF edin.Sonra ortak bulmak pdf / jacobian bulamıyorum yani $(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})}$ $(Y_1,\dots,Y_{k+1})$ $J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})$

— Argha
kaynak

Bu belgenin 13-14. Sayfalarına bakınız .

@Prostinator Çok teşekkür ederim belgeniz sorum için en iyi cevap.

— Argha

@Procrastinator - OP'yi memnun olduğu için belki de bunu bir cevap olarak koymalı ve "bir cümle birden fazla cevap istiyoruz" uyarısını atlamamanız için birkaç cümle eklemelisiniz?

— jbowman

Bu belge şimdi

— cevapsızdır

Kurtarma için geri dönüş makinesi: pdf

— mobeets

Değişken işlev değişikliğinin mutlak belirleyicileri olan Jacobians müthiş görünür ve karmaşık olabilir. Bununla birlikte, çok değişkenli bir değişimin hesaplanmasının önemli ve kaçınılmaz bir parçasıdır. Bunun için bir $k+1$ , $k+1$ türev matrisi yazmak ve hesaplamayı yapmaktan başka bir şey yok gibi görünüyor .

Daha iyi bir yol var. Sonunda "Çözüm" bölümünde gösterilir. Bu yazının amacı, birçokları için yeni bir yöntem olabilecek istatistikçileri tanıtmak olduğundan, çoğu çözümün arkasındaki makineleri açıklamaya ayrılmıştır. Bu diferansiyel formların cebiridir . (Diferansiyel formlar, kişinin çoklu boyutlara entegre ettiği şeylerdir.) Bunun daha tanıdık hale gelmesine yardımcı olmak için ayrıntılı, çalışılmış bir örnek bulunmaktadır.

Arka fon

Bir yüzyıl önce matematikçiler çok boyutlu geometride ortaya çıkan "yüksek mertebeden türevler" ile çalışmak için diferansiyel cebir teorisini geliştirdiler . Determinant, bu tür cebirlerle manipüle edilen, tipik olarak alternatif çok satırlı formlar olan temel nesnelerin özel bir durumudur . Bunun güzelliği hesaplamaların ne kadar basit olabileceğidir.

İşte bilmeniz gereken her şey.

Bir diferansiyel formunun bir ifadesidir " $dx_i$ ". " $d$ " değişkeninin herhangi bir değişken adıylabirleşmesidir.
Bir form , $dx_1+dx_2$ veya hatta gibi lineer diferansiyel kombinasyonudur. Yani, katsayılardeğişkenlerinfonksiyonudur. $x_2 dx_1 - \exp(x_2) dx_2$
Formlar kullanarak "çarpılır" olabilir kama ürünü yazılı, $\wedge$ . Bu ürün değişmez ( alternatif olarak da adlandırılır) bir iki tek formlar için:) ve , $\omega$ $\eta$

$ω \land η = - η \land ω .$ $\omega \wedge \eta = -\eta \wedge \omega.$
Bu çarpma doğrusal ve çağrışımsaldır: diğer bir deyişle, tanıdık bir tarzda çalışır. Bunun acil bir sonucu herhangi bir formun karesinin her zaman sıfır olduğu anlamına gelen . Bu çarpmayı son derece kolaylaştırır! $\omega \wedge \omega = -\omega \wedge \omega$
Olasılık hesaplamalarında görünen integralleri manipüle etmek için, gibi bir ifade . $dx_1 dx_2 \cdots dx_{k+1}$ $|dx_1\wedge dx_2 \wedge \cdots \wedge dx_{k+1}|$
Zaman daha sonra ayırıcı farklılaşması ile verilen bir fonksiyonudur: $y = g(x_1, \ldots, x_n)$

$d y = d g (x_{1}, \dots, x_{n}) = \frac{\partial g}{\partial x_{1}} (x_{1}, \dots, x_{n}) d x_{1} + \dots + \frac{\partial g}{\partial x_{1}} (x_{1}, \dots, x_{n}) d x_{n} .$ $dy = dg(x_1, \ldots, x_n) = \frac{\partial g}{\partial x_1}(x_1, \ldots, x_n) dx_1 + \cdots + \frac{\partial g}{\partial x_1}(x_1, \ldots, x_n) dx_n.$

Jacobians'la bağlantı şudur: Bir dönüşümün Jacobian'ı , işaret etmek gerekirse, sadece katsayısıdır $(y_1, \ldots, y_n) = F(x_1, \ldots, x_n) = (f_1(x_1, \ldots, x_n), \ldots, f_n(x_1, \ldots, x_n))$ Bilgisayarda görünen $dx_1\wedge \dots \wedge dx_n$

d y_{1} \land \dots \land d y_{n} = d f_{1} (x_{1}, \dots, x_{n}) \land \dots \land d f_{n} (x_{1}, \dots, x_{n})

$dy_1 \wedge \cdots \wedge dy_n = df_1(x_1,\ldots, x_n)\wedge \cdots \wedge df_n(x_1, \ldots, x_n)$

her birini, kural (5) ' de doğrusal bir kombinasyonu olarak genişlettikten sonra . $df_i$ $dx_j$

Misal

Bir Jacobian tanımının basitliği caziptir. Henüz değerli olduğuna ikna olmadınız mı? İki boyutlu integralleri Kartezyen koordinatlarından kutupsal koordinatlara dönüştürme konusunda iyi düşünün , burada $(x, y)$ $(r,\theta)$ $(x,y) = (r\cos(\theta), r\sin(\theta))$ . Aşağıdaki kuralların tamamen mekanik bir uygulamasıdır, burada " $(*)$ " olan kural (3) sayesinde açıkça kaybolacak ifadeleri kısaltmak için kullanılır . $dr\wedge dr = d\theta\wedge d\theta = 0$

\begin{aligned} d x d y & = | d x \land d y | = | d (r \cos (θ)) \land d (r \sin (θ)) | \\ = | (\cos (θ) d r - r \sin (θ) d θ) \land (\sin (θ) d r + r \cos (θ) d θ | \\ = | (*) d r \land d r + (*) d θ \land d θ - r \sin (θ) d θ \land \sin (θ) d r + \cos (θ) d r \land r \cos (θ) d θ | \\ = | 0 + 0 + r \sin^{2} (θ) d r \land d θ + r \cos^{2} (θ) d r \land d θ | \\ = | r (\sin^{2} (θ) + \cos^{2} (θ)) d r \land d θ) | \\ = r d r d θ \end{aligned} .

$\eqalign{ dx dy &= |dx\wedge dy| = |d(r\cos(\theta)) \wedge d(r\sin(\theta))| \\ &= |(\cos(\theta)dr - r\sin(\theta)d\theta) \wedge (\sin(\theta)dr + r\cos(\theta)d\theta| \\ &= |(*)dr\wedge dr + (*) d\theta\wedge d\theta - r\sin(\theta)d\theta\wedge \sin(\theta)dr + \cos(\theta)dr \wedge r\cos(\theta) d\theta| \\ &= |0 + 0 + r\sin^2(\theta) dr\wedge d\theta + r\cos^2(\theta) dr\wedge d\theta| \\ &= |r(\sin^2(\theta) + \cos^2(\theta)) dr\wedge d\theta)| \\ &= r\ dr d\theta }.$

Bunun amacı, matrisler, determinantlar veya diğer çok-indikatif nesnelerle uğraşmadan bu tür hesaplamaların yapılabilmesinin kolaylığıdır. Kamaların anti-değişmeli olduğunu hatırlayarak işleri çoğaltırsınız. Bu var daha kolay lise cebir öğretilen olandan.

Hazırlıklar

Bakalım bu diferansiyel cebir eylemde. Bu problemde, ortak dağılımının PDF'si ayrı PDF'lerin ürünüdür (çünkü bağımsız olduğu varsayılır). değişkenlerindeki değişikliği işlemek için, entegre edilecek diferansiyel elemanlar hakkında açık olmalıyız . Bunlar $(X_1, X_2, \ldots, X_{k+1})$ $X_i$ $Y_i$ $dx_1 dx_2 \cdots dx_{k+1}$ . PDF'yi dahil etmek olasılık öğesini verir

\begin{aligned} f_{X} (x, α) d x_{1} \dots d x_{k + 1} & \propto (x_{1}^{α_{1} - 1} \exp (- x_{1})) \dots (x_{k + 1}^{α_{k + 1} - 1} \exp (- x_{k + 1})) d x_{1} \dots d x_{k + 1} \\ = x_{1}^{α_{1} - 1} \dots x_{k + 1}^{α_{k + 1} - 1} \exp (- (x_{1} + \dots + x_{k + 1})) d x_{1} \dots d x_{k + 1} . \end{aligned}

$\eqalign{ f_\mathbf{X}(\mathbf{x},\mathbf{\alpha})dx_1 \cdots dx_{k+1} &\propto \left(x_1^{\alpha_1-1}\exp\left(-x_1\right)\right)\cdots \left(x_{k+1}^{\alpha_{k+1}-1}\exp\left(-x_{k+1}\right) \right)dx_1 \cdots dx_{k+1} \\ &= x_1^{\alpha_1-1}\cdots x_{k+1}^{\alpha_{k+1}-1}\exp\left(-\left(x_1+\cdots+x_{k+1}\right)\right)dx_1 \cdots dx_{k+1}. }$

(Normalleştirme sabiti yok sayıldı; sonunda geri kazanılacak.)

tanımlarına bakarak birkaç saniye içinde yeni değişkeni tanıtmanın faydasını ortaya koymalıdır. $Y_i$

Z = X_{1} + X_{2} + \dots + X_{k + 1},

$Z = X_1 + X_2 + \cdots + X_{k+1},$

ilişkileri vermek

X_{i} = Y_{i} Z .

$X_i = Y_i Z.$

Bu , olasılık elemanında değişkenlerinin değiştirilmesini önerir . Niyeti birinci muhafaza etmektir değişkenleri ile birlikte ve sonra dışarı entegre . Bunu yapmak için, tüm $x_i \to y_i z$ $k$ $y_1, \ldots, y_k$ $z$ $z$ $dx_i$ yeni değişkenler açısından . Bu sorunun kalbidir. Diferansiyel cebirin olduğu yer burası. Başlangıç olarak,

d x_{i} = d (y_{i} z) = y_{i} d z + z d y_{i} .

$dx_i = d(y_i z) = y_i dz + z dy_i.$

Not bu yana $Y_1+Y_2+\cdots+Y_{k+1}=1$ , daha sonra

0 = d (1) = d (y_{1} + y_{2} + \dots + y_{k + 1}) = d y_{1} + d y_{2} + \dots + d y_{k + 1} .

$0 = d(1) = d(y_1 + y_2 + \cdots + y_{k+1}) = dy_1 + dy_2 + \cdots + dy_{k+1}.$

Tek formu düşünün

ω = d x_{1} + \dots + d x_{k} = z (d y_{1} + \dots + d y_{k}) + (y_{1} + \dots + y_{k}) d z .

$\omega = dx_1 + \cdots + dx_k = z(dy_1 + \cdots + dy_k) + (y_1+\cdots + y_k) dz.$

It appears in the differential of the last variable:

\begin{aligned} d x_{k + 1} & = z d y_{k + 1} + y_{k + 1} d z \\ = - z (d y_{1} + \dots + d y_{k}) + (1 - y_{1} - \dots y_{k}) d z \\ = d z - ω . \end{aligned}

$\eqalign{ dx_{k+1} &= z dy_{k+1} + y_{k+1}dz \\ &= -z(dy_1 + \cdots + dy_k) + (1-y_1-\cdots y_k)dz \\ &= dz - \omega. }$

The value of this lies in the observation that

d x_{1} \land \dots \land d x_{k} \land ω = 0

$dx_1 \wedge \cdots \wedge dx_k \wedge \omega = 0$

because, when you expand this product, there is one term containing $dx_1 \wedge dx_1 = 0$ as a factor, another containing $dx_2 \wedge dx_2 = 0$ , and so on: they all disappear. Consequently,

\begin{aligned} d x_{1} \land \dots \land d x_{k} \land d x_{k + 1} & = d x_{1} \land \dots \land d x_{k} \land z - d x_{1} \land \dots \land d x_{k} \land ω \\ = d x_{1} \land \dots \land d x_{k} \land z . \end{aligned}

$\eqalign{ dx_1 \wedge \cdots \wedge dx_k \wedge dx_{k+1} &= dx_1 \wedge \cdots \wedge dx_k \wedge z - dx_1 \wedge \cdots \wedge dx_k \wedge \omega \\ &= dx_1 \wedge \cdots \wedge dx_k \wedge z. }$

Whence (because all products $dz\wedge dz$ disappear),

\begin{aligned} d x_{1} \land \dots \land d x_{k + 1} & = (z d y_{1} + y_{1} d z) \land \dots \land (z d y_{k} + y_{k} d z) \land d z \\ = z^{k} d y_{1} \land \dots \land d y_{k} \land d z . \end{aligned}

$\eqalign{ dx_1 \wedge \cdots \wedge dx_{k+1} &= (z dy_1 + y_1 dz) \wedge \cdots \wedge (z dy_k + y_k dz) \wedge dz \\ &= z^k dy_1 \wedge \cdots \wedge dy_k \wedge dz. }$

The Jacobian is simply $|z^k| = z^k$ , the coefficient of the differential product on the right hand side.

Solution

The transformation $(x_1, \ldots, x_k, x_{k+1})\to (y_1, \ldots, y_k, z)$ is one-to-one: its inverse is given by $x_i = y_i z$ for $1\le i\le k$ and $x_{k+1} = z(1-y_1-\cdots-y_k)$ . Therefore we don't have to fuss any more about the new probability element; it simply is

\begin{aligned} (z y_{1})^{α_{1} - 1} \dots (z y_{k})^{α_{k} - 1} {(z (1 - y_{1} - \dots - y_{k}))}^{α_{k + 1} - 1} \exp (- z) | z^{k} d y_{1} \land \dots \land d y_{k} \land d z | \\ = (z^{α_{1} + \dots + α_{k + 1} - 1} \exp (- z) d z) (y_{1}^{α_{1} - 1} \dots y_{k}^{α_{k} - 1} {(1 - y_{1} - \dots - y_{k})}^{α_{k + 1} - 1} d y_{1} \dots d y_{k}) . \end{aligned}

$\eqalign{ &(z y_1)^{\alpha_1-1}\cdots (z y_k)^{\alpha_k-1}\left(z(1-y_1-\cdots-y_k)\right)^{\alpha_{k+1}-1}\exp\left(-z\right)|z^k dy_1 \wedge \cdots \wedge dy_k \wedge dz| \\ &= \left(z^{\alpha_1+\cdots+\alpha_{k+1}-1}\exp\left(-z\right) dz\right)\left( y_1^{\alpha_1-1} \cdots y_k^{\alpha_k-1}\left(1-y_1-\cdots-y_k\right)^{\alpha_{k+1}-1}dy_1 \cdots dy_k\right). }$

That is manifestly a product of a Gamma $(\alpha_1+\cdots+\alpha_{k+1})$ distribution (for $Z$ ) and a Dirichlet $(\mathbf\alpha)$ distribution (for $(Y_1,\ldots, Y_k)$ ). In fact, since the original normalizing constant must have been a product of $\Gamma(\alpha_i)$ , we deduce immediately that the new normalizing constant must be divided by $\Gamma(\alpha_1+\cdots+\alpha_{k+1})$ , enabling the PDF to be written

f_{Y} (y, α) = \frac{Γ (α_{1} + \dots + α_{k + 1})}{Γ (α_{1}) \dots Γ (α_{k + 1})} (y_{1}^{α_{1} - 1} \dots y_{k}^{α_{k} - 1} {(1 - y_{1} - \dots - y_{k})}^{α_{k + 1} - 1}) .

$f_\mathbf{Y}(\mathbf{y},\mathbf{\alpha}) = \frac{\Gamma(\alpha_1+\cdots+\alpha_{k+1})}{\Gamma(\alpha_1)\cdots\Gamma(\alpha_{k+1})}\left( y_1^{\alpha_1-1} \cdots y_k^{\alpha_k-1}\left(1-y_1-\cdots-y_k\right)^{\alpha_{k+1}-1}\right).$

— whuber
kaynak