Maksimum olabilirlik tahminini anlamak için ne kadar hesap gereklidir?

11

MLE öğrenmek için bir çalışma planı hazırlamaya çalışıyorum. Bunu yapmak için MLE'yi anlamak için gerekli asgari kalkülüs seviyesinin ne olduğunu anlamaya çalışıyorum.

MLE'yi anlamak için analizin temellerini (yani minimum ve maksimum fonksiyonların bulunması) anlamak yeterli midir?

estimation mathematical-statistics maximum-likelihood

— histelheim
kaynak

2

Her zaman olduğu gibi, duruma göre değişir . Sadece temelleri anlamaya çalışıyorsanız, işlevlerin ekstrüzyonunu bulmak size adil bir yol getirir (MLE'nin birçok pratik durumunda, L sayısal olarak M'd'dir, bu durumda başka becerilere de ihtiyacınız vardır. bazı temel hesap olarak).

— Glen_b

Teşekkürler. Bahsettiğiniz davayı daha ayrıntılı olarak açıklayabilir misiniz? Kulağa ilginç geliyor.

— histelheim

tamam ama şimdi bir cevap vermeliyim. Dayan.

— Glen_b

20

Yorumumu genişletmek - duruma göre değişir. Sadece temelleri anlamaya çalışıyorsanız, işlevlerin ekstrüzyonunu bulmak size adil bir yol kazandırır (MLE'nin birçok pratik örneğinde, olasılık sayısal olarak en üst düzeye çıkarılır, bu durumda bazı diğer becerilere ve bazı becerilere ihtiyacınız vardır. temel hesap).

Açık cebirsel çözümler elde ettiğiniz güzel basit vakaları bir kenara bırakacağım. Yine de, matematik genellikle çok yararlıdır.

Başından beri bağımsızlığı üstleneceğim. 1 parametreli optimizasyonun mümkün olan en basit durumunu ele alalım. İlk olarak, türev alabileceğimiz ve parametrenin ve istatistiğin bir fonksiyonunu ayırabileceğimiz bir duruma bakacağız.

$\rm{Gamma}(\alpha,1)$ yoğunluğunu düşünün

f_{X} (x; α) = \frac{1}{Γ (α)} x^{α - 1} tecrübe (- x); x > 0; α > 0

$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$

Daha sonra $n$ büyüklüğünde bir örnek için olasılık

L (α; x) = Π_{ben = 1}^{n} f_{X} (x_{ben}; α)

$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$

ve böylece log olabilirliği

l (α; x) = Σ_{ben = 1}^{n} \ln f_{X} (x_{ben}; α) = Σ_{ben = 1}^{n} \ln (\frac{1}{Γ (α)} x_{ben}^{α - 1} tecrübe (- x_{ben}))

$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\$

= Σ_{ben = 1}^{n} - \ln Γ (α) + (α - 1) \ln x_{ben} - x_{ben}

$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\$

= - n \ln Γ (α) + (α - 1) S_{x} - n \bar{x}

$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$

S_{x} = \sum_{i = 1}^{n} \ln x_{i}

$S_x=\sum_{i=1}^n\ln{x_i}$

\frac{d}{d α} l (α; x) = \frac{d}{d α} (- n \ln Γ (α) + (α - 1) S_{x} - n \bar{x})

$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\$

= - n \frac{Γ^{'} (α)}{Γ (α)} + S_{x}

$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\$

= - n ψ (α) + S_{x}

$= -n\psi(\alpha)+S_x$

$\hat{\alpha}$

ψ (\hat{α}) = \ln G, (x)

$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\$

$\psi(\cdot)$ $G(\cdot)$

$\hat{\alpha}$

ψ (\hat{α}) = g

$\psi(\hat{\alpha})=g$

$g=\ln{G(\mathbf{x})}$

Bunun temel işlevler açısından bir çözümü yoktur, sayısal olarak hesaplanmalıdır; en azından bir taraftan parametrenin bir fonksiyonunu, diğer taraftaki verilerin bir fonksiyonunu elde edebildik. Denklemi çözmenin açık bir yoluna sahip değilseniz kullanılabilecek çeşitli sıfır bulma algoritmaları vardır (örneğin, türevleri olmasanız bile, ikili bölüm vardır).

f (x; μ) = \frac{1}{4} {sech}^{2} (\frac{x - μ}{2}) .

$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$

μ

$\mu$

$\theta$

f_{X} (x; θ) = \frac{1}{π (1 + (x - θ)^{2})} .

$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$

Genel olarak, buradaki olasılık benzersiz bir yerel maksimum değere sahip değildir, ancak birkaç yerel maksimuma sahiptir. Eğer bulursanız bir yerel maksimum, başka, daha büyük bir başka yerde de olabilir. (Bazen insanlar ortancaya en yakın yerel maksimumu veya bazılarını tanımlamaya odaklanırlar.)

$(0,\theta)$

Diğer durumlarda, parametre alanı ayrık olabilir.

Bazen maksimumu bulmak oldukça ilgili olabilir.

Ve bu sadece tek bir parametre ile ilgili sorunların bir örneğidir. Birden fazla parametreniz olduğunda, işler tekrar daha fazla dahil olur.

— Glen_b-Monica'yı eski durumuna döndür
kaynak

4

$\mathbb{R}^p \to \mathbb{R}$

Logaritma olan bazı tesisler kesinlikle yardımcı olacaktır, çünkü olasılığın logaritmasını en üst düzeye çıkarmak genellikle olasılığın en üst düzeye çıkarılmasından çok daha kolaydır.

$\mathbb{R}^p \to \mathbb{R}$

— Stephan Kolassa
kaynak