Weibull dağılımı için EM maksimum olabilirlik tahmini

24

Not: Teknik nedenlerden dolayı kendi başlarına gönderemediğim eski bir öğrenciden bir soru gönderiyorum.

Bir örnek verilmişse, , pdf ile bir Weibull dağılımından için faydalı bir değişken gösterimi ve dolayısıyla basit kullanım yerine MLE'sini bulmak için kullanılabilecek bir ilişkili EM (beklenti-maksimizasyon) algoritması sayısal optimizasyon? $x_1,\ldots,x_n$

f_{k} (x) = k x^{k - 1} e^{- x^{k}} x > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

f_{k} (x) = \int_{Z} g_{k} (x, z) d z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

— Xi'an
kaynak

2

Herhangi bir sansür var mı?

— ocram

2

Newton Rpson'ın nesi var?

— Olasılık 20

2

@probabilityislogic: hiçbir şeyde yanlış bir şey yok! Öğrencim EM sürümü olup olmadığını bilmek istiyor, hepsi bu ...

— Xi'an

1

Aradığınızı, daha basit bir bağlamda, örneğin belki de bir Gauss ya da tek tip rastgele değişkenin gözlemleri gibi bir örnek verebilir misiniz? Tüm veriler gözlemlendiğinde, ben (ve diğer afişlerin yorumlarına göre) EM'in sorunuzla ne kadar ilişkili olduğunu görmüyorum.

— ahfoss

1

@probabilityislogic Bence "Ah, Newton Raphson kullanmak mı demek istiyorsun?" demelisin. Weibulls normal aileler ... Bence ML çözümleri benzersiz. Bu nedenle, EM'nin "E" ile ilgisi yok, bu yüzden sadece "M" alıyorsunuz ... ve puan denklemlerinin köklerini bulmak bunu yapmanın en iyi yoludur!

— AdamO

7

Ben soruyu doğru anladıysam cevabım evet sanırım.

Yaz . Daha sonra iterasyon bir EM algoritma tipi, örneğin başlayarak olduğu $z_i = x_i^k$ $\hat k = 1$

E adım: ${\hat z}_i = x_i^{\hat k}$
M adımı: $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

Bu, Aitkin ve Clayton (1980) tarafından Weibull orantılı tehlike modelleri için önerilen yinelemenin özel bir durumudur (sansürsüz ve eş değişkenli olmayan bir durumdur). Ayrıca Aitkin ve arkadaşlarının (1989) 6.11. Bölümünde de bulunabilir.

Aitkin, M. ve Clayton, D., 1980. Üstel, Weibull ve aşırı değer dağılımlarının GLIM kullanarak karmaşık sansürlü hayatta kalma verilerine uyumu. Uygulamalı İstatistik , s.156-163.
Aitkin, M., Anderson, D., Francis, B. ve Hinde, J., 1989. GLIM'de İstatistiksel Modelleme . Oxford Üniversitesi Yayınları. New York.

— DavidF
kaynak

Çok teşekkürler David! Kayıp değişken olarak davranmak aklımdan asla geçmedi ...!

x_{i}^{k}

$x_i^k$

— Xi'an

7

Weibull MLE sadece sayısal olarak çözülebilir:

Let ile .

f_{λ, β} (x) = {\begin{cases} \frac{β}{λ} {(\frac{x}{λ})}^{β - 1} e^{- {(\frac{x}{λ})}^{β}} & , x \geq 0 \\ 0 & , x < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

β, λ > 0

$\beta,\,\lambda>0$

1) Olabilirlik :

L_{\hat{x}} (λ, β) = Π_{ben = 1}^{N-} f_{λ, β} (x_{ben}) = Π_{ben = 1}^{N-} \frac{β}{λ} {(\frac{x_{ben}}{λ})}^{β - 1} e^{- {(\frac{x_{ben}}{λ})}^{β}} = \frac{β^{N-}}{λ^{N- β}} e^{- Σ_{ben = 1}^{N-} {(\frac{x_{ben}}{λ})}^{β}} Π_{ben = 1}^{N-} x_{ben}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

log-olabilirlik işlevi :

ℓ_{\hat{x}} (λ, β) : = \ln L_{\hat{x}} (λ, β) = N- \ln β - N- β \ln λ - Σ_{ben = 1}^{N-} {(\frac{x_{ben}}{λ})}^{β} + (β - 1) Σ_{ben = 1}^{N-} \ln x_{ben}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) MLE-Problemi : 3) maksimizasyonu ile -gradyanlar: Şunu yapar:

\begin{aligned} \underset{(λ, β) \in {R,}^{2}}{maksimum} & ℓ_{\hat{x}} (λ, β) \\ st λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

\begin{aligned} \frac{\partial l}{\partial λ} & = - N- β \frac{1}{λ} + β Σ_{ben = 1}^{N-} x_{ben}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial l}{\partial β} & = \frac{N-}{β} - N- \ln λ - Σ_{ben = 1}^{N-} \ln (\frac{x_{ben}}{λ}) e^{β \ln (\frac{x_{ben}}{λ})} + Σ_{ben = 1}^{N-} \ln x_{ben} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N- β \frac{1}{λ} + β Σ_{ben = 1}^{N-} x_{ben}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N- + β \frac{1}{λ} Σ_{ben = 1}^{N-} x_{ben}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N-} Σ_{ben = 1}^{N-} x_{ben}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N-} Σ_{ben = 1}^{N-} x_{ben}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{N-} Σ_{ben = 1}^{N-} x_{ben}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

öğesinin ikinci 0-gradyan durumuna takılması: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{Σ_{ben = 1}^{N-} x_{ben}^{β^{*}} \ln x_{ben}}{Σ_{ben = 1}^{N-} x_{ben}^{β^{*}}} - \bar{\ln x}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

Bu denklem yalnızca sayısal olarak çözülebilir, örneğin Newton-Raphson algoritması. daha sonra Weibull dağılımı için ML tahmincisini tamamlamak üzere içine yerleştirilebilir . $\hat{\beta}^*$ $\lambda^*$

— Emcor
kaynak

11

Maalesef, bu soruyu ayırt edilebilir bir şekilde cevaplamıyor gibi görünüyor. OP, Newton-Raphson ve ilgili yaklaşımların açıkça farkındadır. NR'nin uygulanabilirliği, hiçbir zaman eksik değişkenli bir temsilin veya ilişkili EM algoritmasının varlığını engellemez. Tahminime göre, soru sayısal çözümlerle hiç ilgilenmiyor, bunun yerine ilginç bir eksik değişkenli bir yaklaşım gösterildiğinde ortaya çıkacak olan içgörüyü araştırıyor .

— kardinal

@cardinal Sadece sayısal bir çözüm olduğunu söylemek bir şey ve sadece sayısal çözüm olduğunu göstermek için başka bir şey .

— emcor

5

Sevgili @ emcor, sorunun ne sorduğunu yanlış anladığınızı düşünüyorum. Belki de diğer cevabı ve ilgili yorum akışını incelemek faydalı olacaktır. Şerefe.

— kardinal

@cardinal Doğrudan bir cevap olmadığına katılıyorum, ancak MLE'lerin tam ifadeleridir, örneğin EM'yi doğrulamak için kullanılabilir.

— emcor

4

Bu eski bir soru olmasına rağmen, burada yayınlanan bir makalede cevap var gibi görünüyor: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

Bu çalışmada, aralıklı sansürlü verilerin analizi, altında yatan yaşam boyu dağılımı olarak Weibull dağılımı göz önünde bulundurulmuştur. Sansür mekanizmasının bağımsız ve bilgilendirici olmadığı varsayılmıştır. Beklenildiği gibi, maksimum olasılık tahmin edicileri kapalı biçimde elde edilemez. Simülasyon deneylerimizde Newton-Raphson yönteminin birçok kez birleşemediği görülmüştür. Maksimum olabilirlik tahmin edicilerini hesaplamak için bir beklenti maksimizasyon algoritması önerilmiştir ve neredeyse her zaman bir araya gelir.

— user3204720
kaynak

1

Bağlantıda kağıt bitmiş diye bir alıntı yapabilir misiniz?

— gung - Monica 'ya geri dönün

1

Bu bir EM algoritması, ancak OP'nin istediğini düşündüğüm şeyi yapmıyor. Aksine, E-aşaması sansürlü verileri uygular, daha sonra M-aşaması tüm veri setiyle sabit bir nokta algoritması kullanır. Bu yüzden M-basamağı kapalı formda değil (bence OP'nin aradığı şey).

— Cliff AB

1

@CliffAB: Bağlantı için teşekkür ederiz (+1), ancak EM, bu makalede sansürleme bölümü tarafından doğal olarak uyarılmıştır. Eski öğrencim EM aracılığıyla düz sansürsüz bir kimlik Weibull olabilirlik optimizasyonu arıyordu.

— Xi'an

-1

Bu durumda, MLE ve EM tahmin edicileri eşdeğerdir, çünkü MLE tahmincisi aslında EM tahmincisinin sadece özel bir halidir. (Cevabımda sık sık bir çerçeve olduğunu farz ediyorum; bu, MAP’lar hakkında konuştuğumuz Bayesian bağlamında EM için doğru değil). Eksik veri olmadığından (sadece bilinmeyen bir parametre olduğu için), E basamağı, seçiminden bağımsız olarak basitçe günlük olasılığını döndürür . M adımı daha sonra MLE'yi vererek günlük olasılığını en üst düzeye çıkarır. $k^{(t)}$

EM, örneğin, ve parametreleriyle iki Weibull dağılımından oluşan bir karışımdan veri gözlemlediyseniz , ancak her iki gözlemden hangisinin geldiğini bilmiyorsanız, uygulanabilir. $k_1$ $k_2$

— ahfoss
kaynak

6

Bence, sorunun amacını yanlış yorumlamış olabilirsiniz, ki: Biri, verilen Weibull olasılığını elde edebileceği (ve EM benzeri bir algoritmanın uygulanmasına izin verecek) bazı eksik değişken yorumlar var mı?

— kardinal

4

@ Xi'an'ın gönderisindeki soru ifadesi oldukça açık. Bence cevaplanmamasının nedeni, herhangi bir cevabın önemsiz olmasından kaynaklanıyor. (İlginç, bu yüzden düşünmek için daha fazla zamanım olmasını isterdim.) Her halükarda, yorumunuz EM algoritmasını yanlış anlamaya ihanet ediyor gibi görünüyor. Belki aşağıdakiler panzehir görevi görecektir:

— Kardinal

6

Let burada standart normal yoğunluk fonksiyonu. Let . İle alır, standart bir üniforma IID . Daha sonra, , bir Gauss karışım modelinden bir örnektir. Parametreleri (kaba kuvvet) maksimum olabilirlik ile tahmin edebiliriz. Veri oluşturma sürecimizde eksik veri var mı? Hayır . EM algoritmasının kullanılmasına izin veren gizli değişken gösterimi var mı? Evet, kesinlikle .

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— kardinal

4

Özür dilerim @cardinal; Sanırım son yayınınızla ilgili iki şeyi yanlış anladım. Evet, GMM probleminde kaba kuvvet ML yaklaşımı ile arayabilirsiniz . Ayrıca, şimdi orijinal sorunun parametresini verilen yoğunlukta tahmin etmesine izin veren gizli bir değişkenin dahil edilmesini içeren bir çözüm aradığını görüyorum . İlginç bir problem. Bu kadar basit bir bağlamda EM kullanmanın herhangi bir örneği var mı? EM'ye maruz kalmamın çoğu, karışım problemleri ve veri emniyeti bağlamında olmuştur.

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

— ahfoss

3

@ahfoss: (+1), son yorumunuz için. Evet! Anladın. Örneklere gelince: (i) sansürlü veri problemlerinde ortaya çıkar, (ii) gizli Markov modelleri gibi klasik uygulamalar, (iii) probit modeller gibi basit eşik modelleri (örneğin, Bernoulli yerine gizli gözlemlediğinizi hayal edin ), (iv) tek yönlü rastgele etki modellerinde (ve çok daha karmaşık karma modellerde) varyans bileşenlerini tahmin etmek ve (v) bir Bayesian hiyerarşik modelinde arka modu bulmak. En basit olanı muhtemelen (i) ve ardından (iii).

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$

— kardinal