EM algoritmasına hızlı alternatifler

Gizli değişkenli modelleri (özellikle pLSA) öğrenmek için EM algoritmasına hızlı alternatifler var mı? Hız lehine hassasiyetten ödün vermekte sorun yok.

Newton-Raphson algoritmaları sıklıkla kullanılabilir. PSLA'ya aşina değilim, ancak gizli sınıf modeller için Newton-Raphson algoritmalarını kullanmak oldukça yaygın. Newton-Raphson algoritmaları EM'den zayıf başlangıç ​​değerlerinden biraz daha fazla sorunludur, bu nedenle bir strateji önce EM'nin birkaç yinelemesini (20 diyelim) kullanmak ve sonra bir Newton-Raphson algoritmasına geçmek. Çok başarılı olduğum bir algoritma: Zhu, Ciyou, Richard H. Byrd, Peihuang Lu ve Jorge Nocedal (1997), "Algoritma 778: L-BFGS-B: Büyük ölçekli sınırlar için Fortran altyordamları kısıtlı optimizasyon, "Matematiksel Yazılımda ACM İşlemleri (TOMS) arşivi, 23 (4), 550-60.

EM algoritmasına çok benzeyen, nesnel bir işlevi büyütme veya küçültme sırasında eksik veri yerine tipik olarak dışbükeyliği kullanan MM algoritmasıdır . Yine de, MM algoritmasının sorununuz için geçerli olup olmadığını kontrol etmeniz gerekir.

LDA için "çevrimiçi LDA", standart EM (http://www.cs.princeton.edu/~blei/papers/HoffmanBleiBach2010b.pdf) gibi toplu yöntemlere göre hızlı bir alternatiftir.

David Blei, sayfasında yazılım sağlıyor: http://www.cs.princeton.edu/~blei/topicmodeling.html

Cevaplarda şu ana kadar bahsedilmeyen bir başka alternatif varyasyonel yaklaşımlardır. Her ne kadar bu algoritmalar tam olarak EM algoritmaları olmasa da, bazı durumlarda EM algoritmaları Bayesian ortalama alan varyasyon algoritmaları vakalarını sınırlandırmaktadır. Sınır, hiper parametrelerin sınırlayıcı durumu ile ilgilidir, bazı durumlarda sınırlayıcı değerleri seçmek size EM algoritmasını verecektir.

Her iki durumda da (EM, VB ve hatta MM algoritmaları) işleri hızlandırmanın 2 genel yolu vardır:

$p$$p$

(2) EM (veya başka bir tür) algoritmanızın yakınsama oranını artırmak. Bir yorumda JohnRos Aitken hızlanmasından bahsetti. Bu sayısal analiz dünyasından ancak McLachlan ve Krishnan'ın EM kitabında tartışıldı.

Özlediğim başkaları da olabilir ama bunlar iki büyük olan gibi görünüyor.