Maksimum Olabilirlik tahmincisi

Gerçek bir parametre için, o parametre için MLE'den başlayarak nasıl asimtotik bir güven aralığı oluşturabilirim?

— Fabrizio
kaynak

Bu soruna yaklaşmanın bir yolu delta yöntemini kullanmaktır: en.wikipedia.org/wiki/Delta_method

Ben çok geniş olarak bu soruyu kapatmak için oy vardır fark ettim, ama orada olduğu özlü ifade edilebilir Mles asimptotik davranışı hakkında genel bir teoremi. Biraz sonra genişleteceğim kısa bir cevap verdim.

— Scortchi - Monica'yı eski durumuna döndürün

Bazı düzenlilik koşulları göz önüne alındığında, boyutunda bir iid örneği için MLE , gerçek parametrenin ve dağılımının Normal bir tutarlı tahmincisi olduğu ve Fisher bilgileri: $n$ $\hat{\theta}$ $\theta_0$

\sqrt{n} (\hat{θ} - θ_{0}) \to N (0, \frac{1}{I_{1} (θ_{0})})

$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$ burada tek bir örnekten gelen Fisher . MLE gözlemlenen bilgiler beklenen bilgiye asimptotik olarak eğilimlidir, böylece güven aralıklarını (% 95 diyelim)

I_{1} (θ_{0})

$\mathcal{I}_1(\theta_0)$

I (\hat{θ})

$I(\hat{\theta})$

\hat{θ} \pm \frac{1.96}{\sqrt{n I_{1} (\hat{θ})}}

$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$

Örneğin, sıfır kesimli bir Poisson değişkeniyse, gözlemlenen bilgiler için MLE (sayısal olarak hesaplamanız gerekir) açısından bir formül alabilirsiniz: $X$

f (x) = \frac{e^{- θ} θ^{x}}{x! (1 - e^{- θ})}

$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$

ℓ (θ) = - θ + x \log θ - \log (1 - e^{- θ})

$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$

\frac{d ℓ (θ)}{d θ} = - 1 + \frac{x}{θ} - \frac{e^{- θ}}{1 - e^{- θ}}

$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$

I_{1} (\hat{θ}) = - \frac{d^{2} ℓ (\hat{θ})}{{(d \hat{θ})}^{2}} = \frac{x}{\hat{θ}} - \frac{e^{- \hat{θ}}}{{(1 - e^{- \hat{θ}})}^{2}}

$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$

Düzenlilik koşulları dışında bırakılan önemli durumlar arasında

parametresi verilerin desteğini belirler, örn. naught ve arasındaki eşit dağılımdan örnekleme $\theta$ $\theta$
rahatsızlık parametresi sayısı numune boyutuyla birlikte artar

— Scortchi - Monica'yı eski durumuna döndürün
kaynak

, örneğin üzerinde kısıtlamalar olduğunda bu yöntem değiştirilmemiş mi? Ne bir MLE ilgili parametreleri , , öyle ki ve ?

θ

$\theta$

θ \in [0, 1]

$\theta \in [0, 1]$

N

$N$

θ_{i}

$\theta_i$

i = 0, . . ., N - 1

$i=0,...,N-1$

\sum_{i = 0}^{N - 1} θ_{i} = 1

$\sum_{i=0}^{N-1} \theta_i = 1$

θ_{i} \in [0, 1]

$\theta_i \in [0,1]$

— quant_dev

Eğer , yani, gerçek değeri sınırları birine eşit değildir.

θ \in (0, 1)

$\theta \in (0, 1)$

— Scortchi - Monica'yı eski durumuna döndürün

Eğer ve, normal yaklaşımın geçerli olmadığı ve daha fazla örneğe ihtiyacım olduğu anlamına gelmez mi?

θ \in (0, 1)

$\theta \in (0,1)$

σ (\hat{θ}) > | \hat{θ} |

$\sigma(\hat{\theta}) > |\hat{\theta}|$

— quant_dev

Evet, sadece asimtotik bir güven aralığı.

— Scortchi - Monica'yı eski durumuna döndürün

@quant_dev: Hayır: Normal yaklaşımı iyi yapan parametrelerin bir dönüşümünü ararsınız - veya başka bir yöntem kullanırsınız.

— Scortchi - Eski durumuna getir Monica

Maksimum Olabilirlik tahmincisi - güven aralığı