Herhangi bir MLE problemi için her zaman maksimize edici var mı?

23

Herhangi bir maksimum (log-) olabilirlik tahmini problemi için her zaman maksimize edicinin olup olmadığını merak ediyorum. Başka bir deyişle, MLE probleminin maksimize edicisi olmayan bir dağılım ve bazı parametreleri var mı?

Sorum, MLE'deki maliyet fonksiyonunun (olasılık veya log olabilirlik, hangisinin amaçlandığından emin değilim) her zaman içbükey olduğu ve bu nedenle her zaman maksimize edici olduğu iddiasından geliyor.

Teşekkürler ve saygılar!

maximum-likelihood optimization

— Tim
kaynak

8

(+1) Sorunuzda dengelenmemiş bazı nitelikler olmadığından emin misiniz? Durduğu gibi, mühendisin ifadesi çok farklı şekillerde yanlıştır, nereden başlayacağınızı bilmek neredeyse zordur. :)

— kardinal

@ cardinal: Temel olarak duyduğum şeyi yazdım. Fakat bir şeyi özleyebileceğimi itiraf ediyorum.

— Tim

5

Karşı örnek (dışbükey): X_n, matematiksel . Eşsiz bir MLE olmasına rağmen, ne olabilirlik ne de log olabilirlik dışbükey değildir .

X_{1}, X_{2}, \dots, X_{n}

$X_1,X_2,\ldots,X_n$

N (0, σ^{2})

$\mathcal N(0,\sigma^2)$

σ^{2}

$\sigma^2$

— kardinal

3

@Tim Lojistik regresyon , MLE'nin her zaman bulunmadığı temel bir örnektir. Ek olarak, bazı bağlantı fonksiyonları için log-olabilirliği içbükey değildir.

30

Muhtemelen mühendis, kanuni üstel ailelerin aklındaydı: doğal parametreleştirmelerinde, parametre alanı dışbükey ve kütük olasılığı içbükeydir (bkz. Bickel ve Doksum'un Matematiksel İstatistikleri, Cilt 1, Thm 1.6.3 ). Ayrıca, bazı ılımlı teknik koşullar altında (temel olarak model "tam dereceli" olabilir veya eşdeğer olarak tanımlanabilir şekilde doğal parametrenin değeri), log-olabilirlik işlevi kesinlikle orada içbükeydir, bu da orada benzersiz bir maksimize edici bulunduğunu gösterir. (Aynı referansta Corollary 1.6.2.) [Ayrıca, biostat tarafından belirtilen ders notları aynı noktayı oluşturur.]

Bir kanonik üstel ailenin doğal parametrellenmesinin, genellikle standart parametrelendirmeden farklı olduğunu unutmayın. Bu bakımdan, bir aile için log olasılık ortaya @cardinal noktaları değil dışbükey olarak , bu doğal parametreleri, içbükey olacak ve . $\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ $\eta_1 = \mu / \sigma^2$ $\eta_2 = -1/\sigma^2$

— DavidRM
kaynak

2

(+1) Güzel cevap. OP’e yaptığım yorumlarda belirtildiği gibi, bu, ümit edilen cevabın gönderileceğini umduğum gibi (karşı örnek bile dikkatlice bunun için seçildi). :)

— kardinal

2

Bunu Çok Değişkenli Gauss Modelinde gösterebilir misiniz?

— Royi

6

Olabilirlik işlevi genellikle ilgilenilen parametrenin tahmini için maksimum seviyeye ulaşır. Bununla birlikte, Gauss karışım dağılımı veya birden fazla tepe noktası olan (iki veya çok modlu) parametrik olmayan fonksiyonlar gibi, bazen MLE yoktur. Sıklıkla popülasyon genetiği bilinmeyen parametreleri, yani rekombinasyon oranlarını, doğal seçilimin etkisini tahmin etme problemiyle karşı karşıya kalıyorum.

Sebeplerden biri de @ cardinal, sınırsız parametrik uzay olduğuna işaret ediyor.

Dahası, aşağıdaki makaleyi tavsiye ederim , bkz. Bölüm 3 (işlev için) ve Şekil 3. Ancak, MLE hakkında oldukça kullanışlı ve kullanışlı bir belge bilgisi var.

— Biostat
kaynak

3

Belirtilen örneğini yanlış anlamam gerektiğini düşünüyorum. Hangi kuadratik fonksiyonların birden fazla zirvesi var?

— kardinal

@cardinal: Açıklamaya çalışayım. Sınırlandırılmamış parametreyi işaret ediyorsunuz, basitlik normal dağılım örneğinde bile olabilirlik fonksiyonunun maksimuma çıkmamasının sebeplerinden biri. Bununla birlikte, benim açımdan optimizasyon perspektifinden yerel ve küresel maksimenin popüler bir sorunu var. Rekabet oranlarını tahmin ederken bu problemi popülasyon genetiğinde sık sık karşılaştım. Dahası bu makale bölüm 3'e (işlev için) ve Şekil 3'e bakın. Makale URL: citeseerx.ist.psu.edu/viewdoc/…

— Biostat

Yani, "birden fazla zirve ile ikinci dereceden fonksiyonlar" mı diyorsunuz, örneğin, örneğin bir Gauss karışım modeline referans? Öyleyse, bir düzenleme muhtemelen biraz karışıklığı giderebilir.

— kardinal

Şimdi güncellendi.

— Biostat

2

(+1) Güncelleme için. Not Gauss karışım modellerinde sınırsız ihtimal de o ve birden fazla lokal maksimumlar genel olarak, mevcut bulunmaktadır. Sorunları daha kötü hale getirmek için, olasılık, özellikle patolojik çözümlerde sınırsız hale gelir. Genel olarak, çoklu maksima bir sorun kadar kötü olmayabilir. Bazı durumlarda, bu maksimum değerler birbirlerinden yeterince hızlı bir şekilde birleşerek, bunlardan herhangi birinin seçilmesinin, asemptotik olarak ilgilenilen parametrenin makul (hatta, verimli) bir tahmincisini verebileceğini gösterir.

— kardinal

3

Kabul ediyorum bir şeyleri özlüyorum, ama -

Bu bir tahmin problemi ise ve amaç bilinmeyen bir parametreyi tahmin etmekse ve parametrenin bazı kapalı ve sınırlanmış kümeden geldiği ve olasılık fonksiyonunun sürekli olduğu biliniyorsa, bu parametre için maksimize eden bir değer bulunmalıdır. olabilirlik işlevi. Başka bir deyişle, bir maksimumun var olması gerekir. (Benzersiz olması gerekmez, ancak en az bir maksimumun bulunması gerekir.

Olabilirlik işlevinin her zaman dışbükey olması gerekip gerekmediğini bilmiyorum, ancak bu, orada maksimum olması için gerekli bir koşul değil.

Bir şeyi görmezden gelirsem, eksik olduğum şeyin ne olduğunu duymayı memnuniyetle karşılarım.

— DW
kaynak

4

Ek varsayımlar yoksa, maksima ile ilgili verilen açıklama yanlıştır. Parametre alanı kapalı Örneğin, ve sınırlı ve olabilirlik fonksiyonu sürekli parametreleri, daha sonra en fazla olması gerekir. Bu ilave koşullardan herhangi birini yapmazsanız, sonucun bekletilmesi gerekmez. Dışbükeylik konusunda en basit ve en yaygın örneklerde bile başarısız olur. :)

— kardinal

2

(+1) Parametre boşluğunun sınırlılığı, birçok basit durumda bile geçerli değildir. Ancak, pratik amaçlar için, genellikle parametrelerimizin sınırlı olduğunu biliyoruz. :)

— kardinal

3

Belki birileri aşağıdaki basit örneği faydalı bulabilir.

$\theta$ $\theta \in (0,1)$ $(0,1)$ $\theta$

{\begin{cases} θ & kafaları \\ 1 - θ & frak \end{cases} .

$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$

θ

$\theta$

(0, 1)

$(0,1)$

— mef
kaynak