Dirichlet dağılımındaki alfa tam olarak nedir?

Bayesian istatistiklerinde oldukça yeniyim ve algoritmasının arka ucunda Dirichlet işlemini kullanan düzeltilmiş bir korelasyon ölçüsü olan SparCC ile karşılaştım . Neler olduğunu gerçekten anlamak için adım adım algoritmaya girmeye çalışıyorum ama alphabir Dirichlet dağılımında vector parametresinin ne yaptığından ve vector parametresini nasıl normalleştirdiğinden tam olarak emin değilim alpha?

Uygulama Pythonkullanılıyor NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

Doktorlar diyor ki:

alpha: array Dağılım parametresi (k boyutu örneği için k boyutu).

Sorularım:

1. alphasDağılımı nasıl etkiler ?;

2. alphasNormalleştirme nasıl yapılır ?; ve

3. alphasTamsayı olmadığında ne olur ?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

Dirichlet dağılımı tanımlayan bir çok değişkenli olasılık dağılımıdır değişkenler , her şekilde, x i ∈ ( 0 , 1 ) ve Σ K i = 1X 1 , … , X k α = ( α 1 , … , α k$k\ge2$$X_1,\dots,X_k$$x_i \in (0,1)$ ve bir vektör tarafından parametrelenmişse, pozitif değerli parametreler. Parametrelertamsayı olmakzorunda değildir, sadece pozitif gerçek sayılar olması gerekir. Herhangi bir şekilde "normalize" değiller, bu dağılımın parametreleri.$\sum_{i=1}^N x_i = 1$$\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$

Dirichlet dağılımı, beta dağılımının birden fazla boyutta genelleştirilmesidir , böylece beta dağılımı hakkında bilgi edinerek başlayabilirsiniz. Beta, ve parametreleri tarafından parametrelendirilen rasgele değişkeninin tek değişkenli bir dağılımıdır . Güzel bir sezgi, bunun bir ve olduğunu hatırlarsanız gelir.α β α β p p α ′ = α + başarı sayısı β ′ = β + başarısızlık sayısı α $X \in (0,1)$$\alpha$$\beta$ eşlenik önsel için binom dağılımı ve bir beta varsayarsak önce parametreli ve binom dağıtımın olasılık parametresi için , daha sonra arka dağıtım de olduğu tarafından tanımlanan beta dağılımı$\alpha$$\beta$$p$$p$$\alpha' = \alpha + \text{number of successes}$$\beta' = \beta + \text{number of failures}$ . Aklınıza gelebilecek Yani ve itibariyle pseudocounts başarı ve başarısızlıkları (ayrıca çek (bunlar tamsayılar olmak gerekmez) Konuyu ).$\alpha$$\beta$

Dirichlet dağılımı durumunda , multinom dağılımından önce bir konjugattır . Binom dağılımı durumunda biz urn değiştirilmesi ile beyaz ve siyah topları çizim açısından düşünmek, o zaman multinomial dağılım durumunda biz yedek ile çizim topları görünenk p 1 , … , p k p 1 , … , p k α 1 , … , α k α 1 , … , α k α 1 + n 1 , … , α k + n $N$$k$ renklerinde Topların olasılıkları . Dirichlet dağılımı için bir konjüge önce olduğu olasılıkları ve olarak düşünülebilir parametreleri pseudocounts her renk topları kabul önsel$p_1,\dots,p_k$$p_1,\dots,p_k$$\alpha_1,\dots,\alpha_k$(ama aynı zamanda böyle bir akıl yürütmenin tuzaklarını da okumalısınız ). Dirichlet-multinomial model , her kategorideki gözlemlenen sayıları toplayarak güncellenir: , beta-binom modelinde olduğu gibi.$\alpha_1,\dots,\alpha_k$$\alpha_1+n_1,\dots,\alpha_k+n_k$

Daha yüksek bir değer , daha fazla "ağırlık" toplam "kütle" daha fazla miktarı, kendisine atanmış olan (toplam olması gerektiğini hatırlama ). Tüm eşitse, dağılım simetriktir. Eğer , anti-ağırlık olarak düşünülebilir uzağa iterX i x 1 + ⋯ + x k = $\alpha_i$$X_i$$x_1+\dots+x_k=1$α i < 1 x i x i α 1 = ⋯ = α k = $\alpha_i$$\alpha_i < 1$$x_i$ yüksek olduğunda, çeker iken aşırı doğru, anlamda merkezi bazı merkezi değere (doğru tüm noktalar etrafında, konsantre olması değil de simetrik olarak merkezi olduğunu hissetmek). Eğer , noktalar düzgün olarak dağıtılırlar.$x_i$$\alpha_1 = \dots = \alpha_k = 1$

Bu, aşağıdaki değişkenlerde görülebilir, burada üç değişken Dirichlet dağılımlarını görebilirsiniz (ne yazık ki, yalnızca (en fazla üç boyutta makul alanlar üretebiliriz) (a) , (b) , (c) , (d) .α 1 = α 2 = α 3 = 10 α 1 = 1 , α 2 = 10 , α 3 = 5 α 1 = α 2 = α 3 = $\alpha_1 = \alpha_2 = \alpha_3 = 1$$\alpha_1 = \alpha_2 = \alpha_3 = 10$$\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$$\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

Dirichlet dağılımına bazen “dağılımların dağılımı” denir , çünkü olasılıkların kendileri olarak da düşünülebilir. Her ve , o zaman birinci ve ikinci olasılık aksiyomları ile tutarlı olduğuna dikkat edin . Böylece, Dirichlet dağılımını kategorik veya multinom gibi dağılımlarla tanımlanan ayrık olaylar için olasılıkların bir dağılımı olarak kullanabilirsiniz . Öyle değil∑ k i = 1 x i = $x_i \in (0,1)$$\sum_{i=1}^k x_i = 1$$x_i$Herhangi bir dağılımın üzerinde bir dağıtım olduğu için, örneğin sürekli rastgele değişkenlerin olasılıkları veya hatta bazı ayrı olanlar olasılıklarıyla ilgili değildir (örneğin Poisson dağıtılmış rastgele bir değişken, herhangi bir doğal sayı olan değerleri gözlemleme ihtimalini açıklar; Dirichlet olasılıkları üzerindeki dağılımı, sonsuz sayıda rastgele değişkene ihtiyacınız olacaktır ).$k$

Yasal Uyarı: Bu dağıtımla daha önce hiç çalışmadım. Bu cevap dayanmaktadır bu wikipedia makalesine ve benim yorumuma .

---

Dirichlet dağılımı, Beta dağılımına benzer özelliklere sahip çok değişkenli bir olasılık dağılımıdır.

PDF şu şekilde tanımlanmıştır:

$$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$$

ile , ve$K \geq 2$$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$ .

Yakından ilgili Beta dağılımına bakarsak:

$$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$$

ise bu iki dağılımın aynı olduğunu görebiliriz . Öyleyse yorumumuzu ilk önce buna dayandıralım ve sonra genelleyelim .$K=2$$K>2$

---

Bayesian istatistiklerinde, Beta dağılımı binom parametreleri için bir konjugat olarak kullanılır (Bkz. Beta dağılımı ). Birincisi, ve (ya da Dirichlet dağılımı ve ) hakkında önceden bazı bilgiler olarak tanımlanabilir . Bazı binom deneme başarısı ve başarısızlığı varsa, dağılımı şöyledir: ve$\alpha$$\beta$$\alpha_1$$\alpha_2$$A$$B$$\alpha_{1,pos} = \alpha_1 + A$$\alpha_{2,pos}=\alpha_2 + B$ . (Bu işe yaramayacağım, çünkü muhtemelen Bayesian istatistiklerinden öğrendiğiniz ilk şeylerden biri).

Dolayısıyla, Beta dağılımı , sırasıyla Binom dağılımındaki başarı ve başarısızlık olasılığı olarak yorumlanabilecek olan ve bazı arka dağılımı temsil eder . Ve ne kadar çok veri ( ve ), bu posterior dağılım o kadar dar olacaktır.$x_1$$x_2 (=1-x_1)$$A$$B$

---

Şimdi dağılımın için nasıl çalıştığını biliyoruz , binom yerine multinom dağılım için çalışmasını yaygınlaştırabiliriz. Bu, iki olası sonuç yerine (başarı veya başarısızlık), sonuçlarına izin vereceğimiz anlamına gelir ( ise neden Beta / Binom'a genelleştirildiğine bakın ). Bu sonuçlarının her biri, olasılıkların yaptığı gibi 1 olan bir olasılığına sahip olacaktır.$K=2$$K$$K=2$$K$$x_i$

$\alpha_i$ daha sonra Beta dağıtımındaki ve için bir benzer bir rol alır.$\alpha_1$$\alpha_2$$x_i$ benzer şekilde güncellenir.

Şimdi sorularınızı cevaplamak için:

alphasDağılımı nasıl etkiler?

Dağılım, ve kısıtlamaları ile sınırlandırılmıştır . parçaları belirlemek boyutlu uzayın en kütlesini olsun. Bunu bu resimde görebilirsiniz (buraya gömmek değil, çünkü resmin sahibi değilim). kadar fazla veri varsa (bu yorumu kullanarak) değeri , bu yüzden değerinden veya sonuçların her biri için olasılıklardan daha emin olursunuz . Bu, yoğunluğun daha konsantre olacağı anlamına gelir.$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$$\alpha_i$$K$$\sum_{i=1}^K\alpha_i$$x_i$

Nasıl alphasnormalleştiriliyor?

Dağılımın normalleşmesi (integralin 1'e eşit olduğundan emin olun) teriminden geçer :$B(\boldsymbol{\alpha})$

$$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$$

Yine örneğine bakarsak normalize edici faktörün aşağıdakileri kullanan Beta dağılımındaki ile aynı olduğunu görebiliriz:$K=2$

$$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$$

Bu uzanır

$$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$$

Alfa tamsayı olmadığında ne olur?

Yorum için değişmez , ancak daha önce bağladığım resimde gördüğünüz gibi , eğer ise dağılımın kütlesi aralığının kenarlarında birikir . Öte yandan , bir tam sayı ve .α i < 1 x i K K ≥ $\alpha_i>1$$\alpha_i < 1$$x_i$$K$$K\geq2$