Küme çözümlerini değerlendirmek için iki Gauss karışımı arasındaki mesafe

11

Farklı kümeleme yöntemlerini karşılaştırmak için hızlı bir simülasyon çalıştırıyorum ve şu anda küme çözümlerini değerlendirmeye çalışan bir engelle karşılaşıyorum.

Çeşitli doğrulama metriklerini biliyorum (çoğu R'de cluster.stats () öğesinde bulundu ), ancak tahmin edilen küme sayısının gerçek kümelerin gerçek sayısına eşit olması durumunda bunların en iyi şekilde kullanıldığını varsayıyorum. Orijinal simülasyonda doğru küme sayısını belirtmediğinde bir kümeleme çözümünün ne kadar iyi performans gösterdiğini ölçme yeteneğini korumak istiyorum (yani, 4 kümeye sahip olacak şekilde simüle edilmiş üç küme çözüm modeli verisi ne kadar iyi? çözüm). Sadece bilginiz için, kümeler aynı kovaryans matrislerine sahip olacak şekilde simüle edilir.

Gaussianların iki karışımı arasındaki KL ıraksamasının uygulanmasının yararlı olacağını düşündüm, ancak kapalı bir form çözümü yok ( Hershey ve Olson (2007) ) ve Monte Carlo simülasyonunun uygulanması hesaplama açısından pahalı olmaya başlıyor.

Uygulanması kolay olabilecek başka çözümler var mı (sadece bir yaklaşım olsa bile)?

clustering kullback-leibler gaussian-mixture

— dmartin
kaynak

İki Gauss karışımı arasındaki L2 mesafesi kapalı formda mevcuttur. Bunu kullanın ve hepiniz hazır olmalısınız.

Bunu nasıl yapacağınızı bilmiyorum, ama bana iyi bir fikir gibi gelmiyor. Bir karışım alın, bileşenlere izin verin (p (x) 'de değişiklik yok) ve L2 mesafesi herhangi bir şey olabilir. Ayrıca, L2 mesafesi kovaryans matrisleri için iyi bir fikir değildir.

— bayerj

Bekletilen bir test veri kümesinin posterior öngörme olasılığı. Yine de k ile ilgili önceliklere ihtiyaç duyacağınızdan şüpheleniyorum.

— varsayımlar

İlk bağlantı bozuldu

— ttnphns

6

de iki Gauss karışımımız olduğunu varsayalım : Yoğunlukları Çağrı ve dir, ve bileşenlerinin yoğunlukları ifade , tarafından , . $\mathbb R^d$ $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

Aşağıdaki mesafeler kapalı formda mevcuttur:

$L_2$ mesafesi, user39665 tarafından yapılan bir yorumda önerildiği gibi. Bu: Örneğin , matris yemek kitabının 8.1.8 bölümünde görüldüğü gibi : böylece zamanda kolayca değerlendirilebilir .
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
Gaussian RBF çekirdeği ile maksimum ortalama tutarsızlık (MMD). Bu, istatistik topluluğu arasında henüz çok iyi bilinmeyen, tanımlanması biraz matematik gerektiren serin bir mesafedir.

İzin vermek Hilbert alanı tanımlamak olarak : karşılık gelen çoğaltma Hilbert boşluğu .
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

Tanımlar Ortalama harita çekirdeği olarak
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

MMD daha sonra
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

ve karışımlarımız için ve benzer şekilde ve için . $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

Bu gibi benzer numaralar kullanılarak çıkıyor , bu olduğu $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

Gibi , bir katına açıkça bu yakınsak mesafesi. Normalde veri varyasyonunun ölçeğinde farklı bir kullanmak istersiniz . $\sigma \to 0$ $L_2$ $\sigma$

MMD'de polinom çekirdekleri için kapalı formlar da mevcuttur ; görmek $k$

Muandet, Fukumizu, Dinuzzo ve Schölkopf (2012). Destek Ölçme Makineleri ile Dağıtımlardan Öğrenme. Sinirsel Bilgi İşleme Sistemlerindeki Gelişmeler ( resmi versiyon ). arXiv: 1202.6504 .

Bu mesafenin birçok güzel özelliği için bkz.

Sriperumbudur, Gretton, Fukumizu, Schölkopf ve Lanckriet (2010). Hilbert uzay düğünleri ve olasılık ölçütlerine ilişkin metrikler. Makine Öğrenimi Araştırmaları Dergisi, 11, 1517–1561 . arXiv: 0907.5309 .
İkinci dereceden Jensen-Rényi ayrışması. Rényi- entropy Olarak onun sınırı Shannon entropisidir. Jensen-Rényi sapması burada , ve arasında eşit bir karışımı belirtir . Bu çıkıyor, zaman ve ne zaman ve (burada olduğu gibi), Gauss karışımları, sen için bir kapalı bir form hesaplayabilir . Bu tarafından yapıldı $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang, Syeda-Mahmood, Vemuri, Beymer ve Rangarajan (2009). Gaussianların Karışımı için Kapalı Form Jensen-Renyi Iraksaklığı ve Grup-Bilge Kayıtlarına Başvurular. Med Image Comput Comput Assist Aralık, 12 (1), 648-655. ( ücretsiz yayınlanmış sürüm )

— Dougal
kaynak

0

Senin kümeler aslında değilseniz değil Gauss karışımlar ama keyfi şekilli, sonuçlarınız aslında çok daha iyi olabilir çok daha kümeleri üretmek zaman sonra tekrar sonradan bazı birleştirme.

Çoğu durumda, sadece k'nin keyfi olarak yüksek olmasını seçer, örneğin büyük bir veri kümesi için 1000; özellikle modellerle gerçekten ilgilenmediğinizde, ancak vektör nicelemeyle veri kümesinin karmaşıklığını azaltmak istediğinizde.

— QUIT Vardır - Anony-Mousse
kaynak

Bir Gauss karışımından alınacak kümeleri simüle ettim, bu yüzden varsayımın geçerli olduğunu düşünüyorum. Buradaki amaç, karmaşıklığı azaltmak veya k seçiminde karar kriteri bulmak değil, k gerçekten yanlış olduğunda k kümelerinin verileri ne kadar iyi modellediğini karşılaştırmaktır. Bazı yanlış seçimler verileri diğerlerinden daha iyi modelleyebilir ve bazı hesaplamalarla (KL sapması gibi, ancak Gauss karışımları için uygulanması daha kolay) bu uyumsuzluğu ölçmeye çalışıyorum.

— dmartin

0

Mahalanobis D'nin Fisher Çekirdek yöntemini ve diğer teknikleri kullanarak GMM'lere genellemesi:

Tipping, Michael E. "Gauss karışım modellerinden küme analitik uzaklık fonksiyonlarının türetilmesi." (1999): 815-820. https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

Ayrıca bakınız: Mahalanobis mesafesinin çok Gausslu bir versiyonu var mı?

— Lenar Hoyt
kaynak