Gauss Karışımlarının kullanımını haklı çıkaran referanslar

Gauss karışım modelleri (GMM'ler) caziptir, çünkü hem analitik olarak hem de pratikte çalışmak kolaydır ve çok fazla karmaşıklık olmadan bazı egzotik dağılımları modelleyebilirler. Genel olarak net olmayan birkaç analitik özellik beklemeliyiz. Özellikle:

Say , bileşenli tüm Gauss karışımlarının sınıfıdır . Herhangi sürekli dağıtım için reals, biz olarak garanti edilmektedir büyür, biz yaklaşık edebilirsiniz göreceli entropi anlamda önemsiz kaybı olan bir GMM'de ile? Yani, de $S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Diyelim ki sürekli bir dağılımımız $P$ var ve toplam varyasyonda yakın bir $N$ bileşenli Gauss karışımı bulduk : . Biz bağlı Can açısından ? $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
$X\sim P_X$ bağımsız katkı gürültüsü $Y\sim P_Y$ (her ikisi de gerçek, sürekli) ile gözlemlemek istiyorsak ve GMM'ler $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ nerede $\delta(P,Q)<\epsilon$ , o zaman bu değer küçük: $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ yani gürültü $X$ ile $Y$ gürültüsünü tahmin etmenin $\hat{X}$ ile $\hat{Y}$ gürültüsünü tahmin etmek kadar zor olduğu doğru mudur?
Poisson gürültüsü gibi katkı maddesi olmayan gürültü modelleri için yapabilir misiniz?

Şimdiye kadar (kısa) literatür incelemesi çok uygulamalı dersler ortaya çıktı. Karışım modellerinin kullanımında hangi koşullar altında haklı olduğumuzu gösteren herhangi bir referans var mı?

— enthdegree
kaynak

GMM'ler kümesi zayıf topolojideki dağılımlar kümesinde yoğundur (dağılımda yakınsamaya karşılık gelir); örneğin buraya bakınız . Ben kesinlikle herhangi bir nokta kitleler ile başa çıkmak için karışımdaki izin sıfır varyans bileşenlerini gerektirecektir olsa ilk açıklamada, tutar emin değilim . Aynı zamanda ikinci mermi noktası konusunda da şüpheliyim, yine nokta kitleleri yüzünden.

P

$P$

— Dougal

İyi bir nokta, her şeyin sürekli olması gerektiğini belirttim

— enthdegree

Gauss çekirdeği ile çekirdek yoğunluğu tahmini hakkındaki literatüre bakarken daha iyi şansınız olabilir. Numune sayısı arttıkça Gauss'luların bir karışımıyla karışımınız olduğu için, dağılımın asimptotik olarak tarafsız ve tutarlı bir tahmincisi var mı? Bence cevap evet, ama hemen bir referans bulamadım.

— Greg Ver Steeg

@enthdegree: Çok güzel bir soru. Güçlü topolojiler (KL sapması ve toplam varyasyon) kullanmak istediğiniz için, ilk iki noktanızın genel cevabı hayırdır: örneğin, yağlı kuyruklu bir dağılımı düşünün; Herhangi bir sonlu gauss karışımının KL'si sonsuzdur (% 100 olmasa da bunun işe yaradığından eminim). Ancak bu, tüm mermi noktalarınız hangi olasılık dağılımlarının hangi alt sınıfına uygulanacak? Cevabı bilmiyorum ama son derece ilginç görünüyor. Tahminimce neredeyse tüm olasılık dağılımları.

— Guillaume Dehaene

Bu kitapla bir ders aldım. link Temel bilgiler konusunda iyi bir altyapı oluşturur.

— EngrStudent - Monica'yı

Yanıtlar:

Bağlamın logit modellerindeki katsayıların karışım dağılımları olduğu ekonometride standart referans şöyledir: BETON MÜDAHALE DANIEL MCFADDEN VE KENNETH TRENİ, UYGULAMALI EKONOMETRİ DERGİSİ, J. Appl. Ekon. 15: 447-470 (2000) 'de tarif edilmektedir.

— Tim
kaynak

Sorularınız için:

Dirichlet Process'in gaussian karışımına çok benzer Bayes sorunu için, cevabın evet olduğunu anlıyorum. Ghosal (2013) .
Bu konuyla ilgili bazı görüşmelere katıldığımda, çoğunlukla KL sapması kullanılarak ilerleme kaydedilmiş gibi görünüyordu. Bkz Harry van Zanten en slaytlar .
Anlamadım. Ancak, bu bir kaynak ayırma sorununa benziyor ( bilinmeyen). Bunlar genellikle tek başına karışım modellemesinden çok daha zordur. Özellikle basit durumunda, dağılımların sıfıra yakın simetrisi nedeniyle gerçek ve tanımlayamazsınız . $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$
Yukarıda bağlantılı slaytların dördüncüsüne bakın, yakınsama garantilerinin tutulduğu Bayesian modellerin bir listesi var.

— Konjektürler
kaynak

İşte kısmi bir cevap.

Say , bileşenli tüm Gauss karışımlarının sınıfıdır . Herhangi sürekli dağıtım için reals, biz olarak garanti edilmektedir büyür, biz yaklaşık edebilirsiniz göreceli entropi anlamda önemsiz kaybı olan bir GMM'de ile? Yani, de $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

Hayır bir KL sapma tek umudumuz Eğer biliyorsanız küçük 'ın kuyrukları sonunda aynı düzenin olan s'. Bu genel olarak doğru değil. Cauchy için de herhangi bir , görmek zor değil $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Bunu söylemek için üzerinde daha fazla koşul gereklidir. $P$

Diyelim ki sürekli bir dağılımımız var ve toplam varyasyonda yakın bir bileşenli Gauss karışımı bulduk : . Biz bağlı Can açısından ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

Hayır. Yukarıdaki aynı örnek geçerlidir.

bağımsız katkı maddesi gürültüsü (her ikisi de gerçek, sürekli) ile gözlemlemek istiyorsak ve GMM'ler nerede , o zaman bu değer küçük: yani gürültü ile gürültüsünü tahmin etmenin ile gürültüsünü tahmin etmek kadar zor olduğu doğru mudur? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

Bilmiyorum. Eğer sonlu ortalama ve varyans sonra MMSEs olan var ve (basit türetme burada ). Bu varsayımlarla, nesnezaman küçük küçüktür. İlişkili. $X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

Genel olarak ya da P, Q üzerinde üstlendiğimiz ekstra katkı yapısını kullanarak ya da herhangi bir karşı örnekle bunu kanıtlayamadım.

Poisson gürültüsü gibi katkı maddesi olmayan gürültü modelleri için yapabilir misiniz?

Bu belirsiz. Önceki soru bağlamında, eğer bu cevaptaki ifade genel olarak kanıtlanabilirse, cevap evettir.

— enthdegree
kaynak