Gauss karışımını optimize etmek neden doğrudan hesaplama açısından zor?

18

Gauss'luların bir karışımının günlük olasılığını düşünün:

l (S_{n}; θ) = \sum_{t = 1}^{n} \log f (x^{(t)} | θ) = \sum_{t = 1}^{n} \log {\sum_{i = 1}^{k} p_{i} f (x^{(t)} | μ^{(i)}, σ_{i}^{2})}

$l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\}$

Bu denklemi doğrudan maksimize etmenin niçin hesaplama açısından zor olduğunu merak ediyordum? Neden zor olduğu açık ya da belki de neden zor olduğu hakkında daha titiz bir açıklama üzerinde net bir sezgi arıyordum. Bu problem NP-tamamlanmış mı yoksa henüz nasıl çözeceğimizi bilmiyor muyuz? EM ( beklenti maksimizasyon ) algoritmasını kullanmak için başvurmamızın nedeni bu mu?

Gösterim:

$S_n$ = egzersiz verisi.

$x^{(t)}$ = veri noktası.

$\theta$ = Gaussian'ı, bunların ortalamalarını, standart sapmalarını ve her kümeden / sınıftan / Gauss'tan bir nokta üretme olasılığını belirten parametreler kümesi.

$p_i$ = küme / sınıf / Gauss i'den bir nokta üretme olasılığı.

machine-learning gaussian-mixture expectation-maximization

— Pinokyo
kaynak

14

Birincisi, GMM, gözlemlerinizin en uygun etiketlemesini bulmaya çalıştığınız kümeleme için özel bir algoritmadır . Having olası sınıfları, bu olmadığı anlamına gelir antrenman verilerinin olası labellings. Bu, ve orta değerleri için zaten çok büyük olur . $n$ $k$ $k^n$ $k$ $n$

İkincisi, en aza indirmeye çalıştığınız işlev dışbükey değildir ve probleminizin boyutu ile birlikte çok zorlaştırır. Sadece k-araçlarının (GMM'nin kmeans'in yumuşak bir versiyonu olarak görülebileceğini) NP-zor olduğunu biliyorum. Ancak GMM için de kanıtlanıp kanıtlanmadığının farkında değilim.

Sorunun dışbükey olmadığını görmek için, tek boyutlu durumu düşünün: ve garanti edemeyeceğinizi kontrol edin

L = \log (e^{- (x / σ_{1})^{2}} + e^{- (x / σ_{2})^{2}})

$L = \log \left(e^{-({x}/{\sigma_{1}})^2} + e^{-({x}/{\sigma_{2}})^2}\right)$

tüm x için

.

\frac{d^{2} L}{d x^{2}} > 0

$\frac{d^2L}{dx^2} > 0$

Dışbükey olmayan bir problemin olması, yerel minima'da sıkışabileceğiniz anlamına gelir. Genel olarak, dışbükey optimizasyonda sahip olduğunuz güçlü garantilere sahip değilsiniz ve bir çözüm aramak da çok daha zor.

— jpmuc
kaynak

3

İkinci nokta ile ilgili olarak: k-araçları GMM'lerin özel bir durumu olarak görülebilir (daha kesin olarak, varyansların sıfıra alındığı bir sınır durum). K-araçlarını bir GMM'nin takılmasına indirgeyebilirsek, ikincisi de NP zor bir problem olmalıdır.

— Lucas

1

@Lucas: İşte sözlerinize Çapraz Onaylanmış bir bağlantı .

— Xi'an

7

Juampa'nın noktalarına ek olarak, şu zorluklara işaret edeyim:

İşlev gerçek maksimum yani, sınırsızdır ve karşılık gelir (örneğin) ve . Bu nedenle, gerçek bir maksimize edici, tahmin amaçları için yararlı olmayan bu çözümle sonuçlanmalıdır. $l(\theta|S_n)$ $+\infty$ $\hat\mu^{(i)}=x_1$ $\hat\sigma_i=0$
Toplamların ayrışmasındaki terimlerini, cinsinden ürünlerin toplamı olarak dikkate almadan bile , cinsinden maksimize edilecek fonksiyon yüksek derecede çok modludur (dışbükey olmamasına ek olarak) dolayısıyla sayısal yöntemler için bir meydan okuma. EM, yerel bir moda veya eyer noktasına dönüşerek ve birden fazla çalışma gerektirerek zorluğu kabul eder. Gösterildiği gibi $k^n$ $l(\theta|S_n)$ $\theta$

kitabımdan alınmış .

Ek bir açıklama: EM algoritmasını çağırmadan, bir kerede bir parametre olan standart bir optimizasyon algoritması (Newton-Raphson gibi) kullanılabilir, yani yineleme

$\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
$\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
...
$\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

$v$ $l(\theta|S_n)$

— Xi'an
kaynak

Tamam, eğer varyans 0 ise L sınırsızdır. Ancak bunları olası parametrelerden hariç tutarsak (bu yüzden tüm varyans> 0 olduğunu varsayarız), o zaman L sonsuz sınırsız varyans (diğer noktalar nedeniyle) her zaman çok yüksek olmamalıdır. Haklı mıyım? Daha sonra, bu olası parametre seti için, L bağlı olacaktır ve bu, EM algoritmasının yakınsadığı (artan sınırlı sekans) anlamına gelecektir.

— ahstat

@ahstat: varyansların kesinlikle pozitif olduğunu varsaymak, EM'nin yeterince yakın başlatılmışsa dejenere bir çözelti haline gelmesini engellemez.

— Xi'an