MLE her zaman verilerimizin altında yatan PDF'yi bildiğimiz anlamına mı gelir ve EM bilmediğimiz anlamına mı gelir?

MLE (Maksimum Olabilirlik Tahmini) ve varsa EM'ye (Beklenti Maksimizasyonu) hangi bağlantıya ilişkin açıklığa kavuşturmak istediğim bazı basit kavramsal sorularım var.

Anladığım kadarıyla, birisi "MLE'yi kullandık" derse, bu otomatik olarak verilerinin PDF'sinin açık bir modeline sahip oldukları anlamına mı gelir? Bana öyle geliyor ki cevabı evet. Başka bir deyişle, herhangi bir zamanda "MLE" diyorsa, onlara hangi PDF'yi üstlendiklerini sormak adil olur. Bu doğru olur mu?

Son olarak, EM'de, benim anlayışım EM'de, verilerimizin altında yatan PDF'yi aslında bilmiyor veya bilmemiz gerekmesidir. Bu benim anlayışım.

Teşekkür ederim.

estimation maximum-likelihood expectation-maximization

— Creatron
kaynak

EM'deki "M", olasılıkın Maksimizasyonu anlamına gelir. Bir olasılık yazmak için bir pdf'ye ihtiyacımız var. EM, bir anlamda 'gözlemlenemeyen' varlığında (E-adımında doldurulan) MLE'leri bulmanın bir yoludur. Yani, EM'yi kullanmak için açık bir modele ihtiyacınız var.

— Glen_b - Monica'yı

@Glen_b Teşekkürler Gleb_b. Yani, 1) EM'de MLE'de olduğu gibi her zaman verinin PDF'sinin bazı modellerini varsaydığımızı söylemek doğru olur mu? Birisi "MLE / EM kullandık" derse, PDF'leri "kabul ettiniz mi? Bu doğru bir değerlendirme olur mu? 2) Son olarak, EM ile ilgili olarak, bahsettiğiniz gözlemlenemeyen şeylerin karışımı oluşturan belirli PDF'lerin olasılıkları olduğuna inanıyorum. Şimdiden teşekkürler

— Creatron

Parametrik olmayan maksimum olabilirlik yöntemleri olduğunu unutmayın. Kaplan-Meier'i ara.

— soakley

Kreatron açık (1) EM'nin aksi takdirde başa çıkılması zor olan MLE'lerin hesaplanması için bir algoritma olduğunu unutmayın . Her iki durumda da, modelin bazı pdf'lerden daha karmaşık olması mümkün olduğundan, biraz daha genel bir soru olan 'modeliniz neydi?' Açık (2) EM algoritması yalnızca karışımlar için geçerli değildir; bundan daha genel.

— Glen_b

Yanıtlar:

MLE yöntemi, birisinin pdf'nin temel fonksiyonel formunu (ör. Gaussian veya log-normal veya üstel veya her neyse) bildiği , ancak alttaki parametreleri bilmediği durumlarda uygulanabilir; örneğin, ve değerlerini bilmiyorlar : $\mu$ $\sigma$ veya başka tür pdf'leri varsayarlar. MLE yönteminin görevi, belirli veri ölçümleribilinmeyen parametreler için en iyi (yani en makul) değerleri seçmektirgerçekte gözlendi. Yani ilk sorunuzu cevaplamak için, evet, birisinemaksimum olasılık tahmini içinhangipdfbiçiminialdıklarınısormak her zaman haklarınız dahilindedir; aslında, size söyledikleri tahmini parametre değerleri, ilk önce bu bağlamı iletmedikleri sürece anlamlı bile değildir.

f (x | μ, σ) = \frac{1}{\sqrt{2 π σ^{2}}} \exp [\frac{- (x - μ)^{2}}{2 σ^{2}}]

$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$

EM algoritması, geçmişte uygulandığını gördüğüm gibi, bazı meta verilerin eksik olduğu bir tür meta algoritmadır ve bunu da tahmin etmeniz gerekir. Bu nedenle, örneğin, belki de bir çok Gauss karışımıdır pdf, örneğin sahiptir: Yüzeysel olarak, genlik parametresieklenmesi dışında, bu önceki soruna çok benziyor, ama sizedeğerini bile bilmediğimizi söylersem(yani, sayı Gauss karışım içinde modları) ve veri ölçümlerinden tahmin etmek istiyorumçok?

f (x | A_{1}, . . ., A_{N}, μ_{1}, . . ., μ_{N}, σ_{1}, . . . σ_{N}) = \sum_{k = 1}^{N} \frac{A_{k}}{\sqrt{2 π σ_{k}^{2}}} \exp [\frac{- (x - μ_{k})^{2}}{2 σ_{k}^{2}}]

$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$

A_{k}

$A_{k}$

N

$N$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$

$N$ $N=1$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=2$ $A_{1}$ $A_{2}$ $\mu_{1}$ $\mu_{2}$ $\sigma_{1}$ $\sigma_{2}$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=1$ $N=2$

$N$ $N$

$N=1$ $N=2$ $N=3$

— Stachyra
kaynak

\sum A_{k} = 1

$\sum A_k = 1$

N

$N$

N

$N$

\sum A_{k} = 1

$\sum A_{k} = 1$

N

$N$

N

$N$

N = 4

$N=4$

N = 5

$N=5$

Teşekkür ederim stachyra. Son soru, veri karışımı PDF'sinin (PDF'lerin ağırlıklı toplamından oluşan ikinci denkleminizde verilen), PDF'lerinin bir ürünü olan verilerimizin tüm örneklerinin ortak PDF'si ile aynı DEĞİLDİR , doğru ? (Veri örneklerinin IID olduğunu varsayın).

— Creatron

Hayır, hiç de değil - tamamen farklı iki şey. Tanımladığınız ortak pdf, MLE'de kullanılan olabilirlik fonksiyonunun biçimine çok daha benziyor. Burada bir ders kitabı size yardımcı olabilir. MLE için Philip R. Bevington ve D. Keith Robinson'ın "Fiziksel Bilimler için Veri Azaltma ve Hata Analizi" bölüm 10'unu veya Glen Cowan'ın "İstatistiksel Veri Analizi" bölüm 6.1'ini beğendim. Belirli bir EM uygulaması türünün nasıl yapılacağına dair özel bir örnek için, bu açıklamayı, 2'den 5'e kadar olan bölümleri

— beğendim

MLE, en azından marjinal dağılımlar hakkında bilgi gerektirir. MLE kullanırken, genellikle ortak bir varsayım yaparak bir eklem dağılımının parametrelerini tahmin ederiz, ardından eklem dağılımını bildiğimiz marjinallerin bir ürünü olarak çarpanlarına ayırırız. Varyasyonlar var, ancak çoğu durumda fikir bu. Dolayısıyla MLE parametrik bir yöntemdir.

EM algoritması, bir MLE algoritmasının bir parçası olarak ortaya çıkan olasılık işlevlerini en üst düzeye çıkarmak için bir yöntemdir. Genellikle (genellikle?) Sayısal çözümler için kullanılır.

MLE'yi her kullandığımızda, en azından marjinal dağılımlara ve eklemin marjinallerle nasıl ilişkili olduğuna dair bazı varsayımlara ihtiyacımız var (bağımsızlık, vb.). Bu nedenle her iki yöntem de dağılım bilgisine dayanır.

— Charles Pehlivanyan
kaynak

Mantıklı olan @Charles teşekkürler. O zaman insanlar "parametrik olmayan MLE" hakkında konuşurken ne anlama gelir. Bu ifade ilk bakışta mantıklı değil. MLE her zaman dağılımın bir parametresini tahmin eder , değil mi?

— Creatron

ELE (Ampirik Olasılık Tahmini) hakkında konuşuyor olabilirler. Hiç kullanmadım; Gerekirse açıklamaya çalışacağım. Aksi halde emin değilim.

— Charles Pehlivanian