Sonlu normal dağılım karışımından örnek çizmek?

Bazı Bayes güncelleme adımlarından sonra, normal dağılımların bir karışımının posterior dağılımı ile kaldım,Yani, parametresi , PDF'si normal PDF'lerin ağırlıklı bir karışımı olarak verilen ve normal RV'lerin toplamı olmayan bir dağılımdan çizilir. Bu posteriorun örnekleme yaklaşımında önemli bir örnek kullanmak için örnekler çizmek istiyorum . Uygulamada, üzerinden toplam bir dönem seçmek için pratik olabilir, yani, terimlerin geniş sayıda olabilir ağırlıklarına göre ve çizmek

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . Bu formun arka kısmından numune almanın etkili bir yolu var mı?

monte-carlo probability

— Chris Granade
kaynak

Aslında select sonra throw yöntemini denediniz mi? Seçim oldukça hızlı O (k) adımları yapılabilir.

— dmckee --- eski moderatör yavru kedi

Barron'un çözümü gerçekten doğru değilse ve aslında bir "karışım modeli" demek istiyorsan, lütfen bu terimi kullanabilir misin?

— Neil G

Neil G: Ticarete göre bir istatistikçi değil, bazen istatistikleri kullanması gereken bir fizikçiyim. Bu nedenle, neye ihtiyacım olduğunu açıklamak için uygun terimi bilmiyordum. Yine de, PDF'lerin RV'leri değil toplandığını daha net hale getirmek için soruyu şimdi düzenleyebilirim.

— Chris Granade

@ChrisGranade: Sana inmeye çalışmıyordum. Sadece bunu kastettiğinizden emin olmak ve düzenlemeyi önermek istedim.

— Neil G

Neden ağırlıklarına ve üzerindeki eşit dağılımdan bir örneğe , sonra da örneğine göre seçmek pratik değildir ? Bu, yalnızca orta derecede daha pahalı tek bir normal dağılım örnekleme daha maliyet karışık dağılım sayısından bağımsızdır ve normal olarak dağıtımlar dayanmaz.

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

— Jed Brown

Yanıtlar:

Prensipte, her bir alt dağıtımdan alınacak örnek sayısı önceden seçilebilir, daha sonra her bir alt dağıtım sadece bir kez ziyaret edilebilir ve nokta sayısından daha fazla çizilebilir.

Yani

Rasgele dizi Bul öyle ki ve ağırlıklar uyulmalıdır. $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

Ben bunu inanıyoruz ~~bir Poisson dağılımı çizim~~ ortalama bir multinomial dağılımını (yorumlar) her alt dağıtımı için ve sonra toplamını normale . $w_i * n$ $n$

Buradaki çalışma $\mathcal{O}(k) * \mathcal{O}(n)$

Sonra yap

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

Buradaki çalışma $\mathcal{O}(n)$

Bu rastgele sırada alamadığınız anlamına gelir. Rastgele sıra gerekiyorsa, çekilişleri karıştırmanız gerekir (ayrıca büyük ). $\mathcal{O}(n)$

İlk adım, çalışma zamanında ve saf algoritmayla aynı sıraya hakim gibi görünüyor, ancak tüm Normal dağılımlarla Poisson dağılımlarına yaklaşık olarak yaklaşabilir ve ilk adımı hızlandırabilirsiniz. $w_i * n \gg 1$

— dmckee --- eski moderatör yavru kedi
kaynak

Dağılımı eğer bir Poisson dağılımı değil sabittir, ancak bir binom dağılımı.

n_{i}

$n_i$

n

$n$

— Frédéric Grosshans

@ FrédéricGrosshans Uhm ... işte olasılıktaki üzücü zayıflığımı itiraf ediyorum. Bakıyorum haklı olabilirsin. Rasgele binom dağılımları atmak için bir bağlantım yok, ancak wikipedia'nın bazı referansları var . Poisson ve Binom arasında belirsizlikten sorumlu olduğunu iddia edeceğim bir ilişki de var. Evet, bilet bu.

— dmckee --- eski moderatör yavru kedi

@dmckee: Bir karışım modelinden çizim yapmak için iyi bir yanıt, ancak 1. adımda Poisson dağılımı yerine multinomiyal dağılım olması gerekir

— Neil G

Not: Bu sorunun orijinal sürümü, aşağıdaki cevabın yararlı olabileceği "normal dağılımların ağırlıklı toplamı" hakkında sorular sordu. Bununla birlikte, bu cevap, @Geoff'un yanıtı ve sorunun kendisiyle ilgili iyi bir tartışmadan sonra, sorunun gerçekten bu cevabın uygulanamayacağı "normal dağılımların bir karışımını" örneklemede olduğu anlaşıldı.

Normal dağılımların toplamı normal bir dağılımdır, bu nedenle bu tek dağılımın parametrelerini hesaplayabilir ve daha sonra bundan örnekler çizebilirsiniz. Bu dağıtımı , $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s u m} = \sum_{i = 1}^{k} w_{i} μ_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s u m}^{2} = \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

— Barron
kaynak

Kısaca söylemek gerekirse, Chris rasgele değişkenleri değil olasılık yoğunluk fonksiyonlarını toplamaktadır.

— Geoff Oxberry

Chris, (en azından prensipte) birden fazla darbe içeren bir PDF istiyor. Yani toplamın PDF'si değil PDF'lerin toplamıydı.

— dmckee --- eski moderatör yavru kedi

Normal olarak dağıtılmış rastgele değişkenlerin toplamının kendisinin normal olarak dağıtılmış rastgele bir değişken olduğu doğrudur . Ancak, normal dağılımların toplamı normal dağılım değildir. Dolayısıyla, ve , doğru olduğunu , ancak . (Kredi açıklama için @ChrisGranade'ye gidiyor.)

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

— Geoff Oxberry

@ dmckee: bu "normal dağılımların ağırlıklı toplamı" değil, "normal dağılımların karışımı" dır.

— Neil G

@Barron yorumları sayfanın önemli bir parçası sayılmaz. Cevabınızı, yorumlara bakmayan okuyucuların yanlış yönlendirilmemesi için yorumların özetini içerecek şekilde düzenlemelisiniz.

— David Ketcheson

Güncelleme : Bu cevap yanlıştır, terminolojideki karışıklıktan kaynaklanmaktadır (ayrıntılar için aşağıdaki yorum zincirine bakın); Bunu sadece bir kılavuz olarak bırakıyorum, böylece insanlar bu cevabı tekrar yayınlamıyorlar (Barron dışında). Lütfen aşağı veya yukarı oy kullanmayın.

Ben sadece rastgele dağıtılmış rastgele bir değişkene azaltmak için rasgele değişkenlerin özelliklerini kullanırdım. İki bağımsız toplamı, normal dağılım rastgele değişkenler rastgele değişken kendisi , yani eğer ve , ardından $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

Ayrıca, , $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

Bu iki sonucu birlikte kullanarak,

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

Bu durumda, örnekleri daha çok izlenebilir olması gereken tek bir dağıtımdan almanız gerekir.

— Geoff Oxberry
kaynak

Bu, orijinal dağılımın çok yönlü ve önerinizin tek yönlü olduğu gerçeğinden görülebilecek farklı bir sorunun çözümüdür.

— Chris Ferrie

@ChrisFerrie: Sana inanıyorum, ama gösterime dayanarak, yukarıdaki dağılımın neden multimodal olacağı konusunda kafam karıştı, oysa iki bağımsız Gauss rastgele değişkeninin toplamı olmayacak. Burada ne eksik?

— Geoff Oxberry

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

Ah, PDF'lerin toplamına bakıyorsunuz. Evet, bu tamamen farklı bir canavar. Şimdi soruyu daha yakından okuduğuma göre, söylediklerinizi görüyorum ve yanıtımı sileceğim. Teşekkürler!

— Geoff Oxberry

Barron ve ben gibi başka kimsenin bu soruyu cevaplamaması için, daha önce silinen cevabımı yalnızca başkaları için bir rehber olarak hizmet etmek üzere sildim. Lütfen artık cevabımı aşağı yukarı oylamayın.

— Geoff Oxberry