EM algoritması Gauss Karışımı modelindeki parametreleri sürekli olarak tahmin ediyor mu?


9

Gauss Karışımı modelini inceliyorum ve bu soruyu kendim buluyorum.

Altta yatan verinin, K Gauss dağılımı ve her birinin ortalama bir vektörü vardır μkRp, nerede 1kK ve her biri aynı eş varyans matrisine sahip Σ ve varsayalım Σçapraz bir matristir. Ve karıştırma oranının1/Kyani her küme aynı ağırlığa sahiptir.

Bu ideal örnekte, tek iş, K ortalama vektörler μkRp, nerede 1kK ve ko-varyans matrisi Σ.

Sorum şu: EM algoritması kullanırsak, sürekli olarak tahmin edebilecek miyiz? μk ve Σ, yani, örneklem büyüklüğü n, EM algoritması tarafından üretilen tahminci, μk ve Σ?

Yanıtlar:


1

Algoritma her seferinde rastgele değerlerle başlatılırsa, o zaman hayır, yakınsama mutlaka tutarlı olmayacaktır. Rastgele olmayan başlatma muhtemelen her seferinde aynı sonucu üretecektir, ancak bunun gerekli "doğru" değerleri üreteceğine inanmıyorum.μk.

Bir yana, karıştırma oranını sabitleyerek 1/K ve sabitleme Σ diyagonal olmak gerekirse, algoritma k- algoritma anlamına gelir. Rastgele başlatmaya bağlı olarak bu da tutarsız yakınsamaya sahiptir.


Sayısal olarak denedim, en azından 2 bağımsız normal dağılım sınıfı için EM, sınıf ortalamasının tutarlı bir tahmincisini üretir. Ancak, K bunu yapamaz demek, matematik olarak kanıtladım
KevinKim

1
Daha fazla ayrıntı verebilir misiniz lütfen? Hangi verileri kullandığınız, parametreleri nasıl başlattığınız vb.
dcorney

@Dcorney ile aynı fikirde. Gerçekten seçeceğiniz ilk değerlere bağlıdır. En azından pratikte başlangıç ​​değerlerinin yanlış seçimi tutarsız kestirime yol açıyor (mixtools R paketi kullanıyorum)
German Demidov
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.