EM ve Gradient Ascent arasındaki fark nedir?

EM (Beklenti Maksimizasyonu) ve Gradient Ascent (veya iniş) algoritmaları arasındaki fark nedir? Eşdeğer oldukları herhangi bir koşul var mı?

gradient-descent expectation-maximization

— Aslan986
kaynak

Yanıtlar:

Gönderen:

Xu L ve Jordan MI (1996). Gauss Karışımları için EM Algoritmasının Yakınsaklık Özellikleri Üzerine . Sinirsel Hesaplama 2: 129-151.

Özet:

Parametre uzayındaki EM adımının gradyandan bir projeksiyon matrisi P vasıtasıyla elde edildiğini ve matris için açık bir ifade sağladığımızı gösterdik.

Sayfa 2

Özellikle EM adımının gradyanı pozitif bir denit matris ile önceden çarparak elde edilebileceğini göstermektedir. Matris için açık bir ifade veriyoruz ...

Sayfa 3

Yani, EM algoritması değişken bir metrik gradyan yükseliş algoritması olarak görülebilir ...

Bu, kağıt, EM algoritmasının açıkça yükselme, Newton, yarı-Newton'a açık dönüşümlerini sağlar.

Gönderen wikipedia

Gradyan iniş, eşlenik gradyan veya Gauss-Newton metodunun varyasyonları gibi maksimum olasılık tahminlerini bulmak için başka metotlar da vardır. EM'den farklı olarak, bu tür yöntemler tipik olarak, olasılık fonksiyonunun birinci ve / veya ikinci türevlerinin değerlendirilmesini gerektirir.

— Ron Coleman
kaynak

Bu cevap, EM ve degrade inişin temelde aynı algoritma olduğu ve bir algoritmadan diğerine geçmek için mevcut dönüşümlerin olduğu anlamına gelir. Bu kesinlikle genel olarak doğru değildir ve kesinlikle dikkate alınan üretici modeline bağlıdır. Atıfta bulunulan makale, yalnızca Gauss karışım modelleri (nispeten basit üretken modellerdir) ve haklı olarak sonuçlar çıkarmaktadır. (Kuşkusuz sınırlı) tecrübeme göre, model oldukça doğrusal olmadığında ve gizli değişkenlerin rolü önemli olduğunda EM, duyarlı güncelleme kuralları elde etmenin tek yoludur.

— mavi,

Hayır, eşdeğer değiller. Özellikle, EM yakınsama çok daha yavaştır.

EM'de bir optimizasyon bakış açısıyla ilgileniyorsanız, bu makalede EM algoritmasının daha geniş bir algoritma sınıfı (proksimal nokta algoritmaları) özel bir durum olduğunu göreceksiniz.

— Elvis
kaynak

Ya da benzer bir fikir için, Hinton ve Neal (1998)

— birleşik

"EM yakınsama çok daha yavaş"; bu iyi tanımlanmamış ve kesinlikle genel olarak doğru değil. EM algoritmaları bir algoritma sınıfıdır . Birçok sorunlar için, belli EM algoritmasıdır sanatın durumu.

— Cliff AB,

@CliffAB lütfen bu konuyu detaylandırmakta tereddüt etmeyin, argümanlarınızı okumak isterim - bu cevabı 4 yıldan beri okuduğum için, bugün buna cevap vermeyeceğimin farkındayım. O zamandan beri, EM'nin, şu anki noktaya bağlı olarak bir 'öğrenme oranı' parametresine sahip bir degrade yükseliş olduğunu keşfettim ... (Bu cevabı, sıralama sonuçlarını göstermek için bir süre sonra düzenleyebilirim)

— Elvis

Yakınsama oranı olarak "daha yavaş yakınsama" tanımlanabilir. Bir gradyan yükselişinin yakınsama hızı, birçok durumda degrade yükselişini zorlaştıran, seçmesi kolay olmayan 'öğrenme oranına bağlı olacaktır. Bununla birlikte, EM'nin bazı durumlarda tek uygulanabilir algoritmanın (olasılığın türevlerinin veya olasılığın kendisinin hesaplanması zor) olmasına rağmen, bir Newton benzeri yönteme kıyasla, yakınsama oranının zayıf olduğunu hissediyorum.

— Elvis,

"" EM algoritması gerçekten bir algoritma sınıfıdır; başka bir deyişle içerisinde orijinal hedef fonksiyon optimize etmek zordur, fakat eğer bir diğer değişken bilinen, çözelti (tipik olarak, kapalı bir şekilde) çok daha kolay olacaktır. Temel taslak, diğer parametrelerin mevcut değerlerine bağlı beklenen değişkeni doldurmak ve ardından değişkenin beklenen değerine göre parametreleri güncellemektir. Algoritmanın ne kadar çabuk birleştiğinin, hesaplanan verinin ne kadar bilgilendirici olduğuna bağlı olduğu gösterilmiştir; eksik bilgi ne kadar "bilgilendirici" ise, yakınsama o kadar yavaş olur.

— Cliff AB,