Bir maksimum olabilirlik tahmininin standart hatası ne anlama gelir?

Ben bir matematikçi kendi kendine çalışma istatistikleri ve özellikle dil ile mücadele ediyorum.

Kullandığım kitapta şu sorun var:

Bir rastgele değişken olarak verilir -Dağıtık ile . (Tabii ki, bu soru için bir parametreye bağlı olarak herhangi bir dağılım alabilirsin.) Sonra , , , , beş değerinden oluşan bir örnek verilir. $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

İlk kısım: "maksimum olabilirlik yöntemi kullanılarak, bir tahmin bulmak ait [örnek] baz". Bu bir sorun değildi. Cevaptır . $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

Ama sonra: "standart hata için bir tahmin vermek ." $\hat{\alpha}$

Bununla ne kastedilmektedir? Yana sadece sabit bir gerçek sayıdır, ben ne şekilde standart bir hata olabilir görmüyorum. I standart sapmasını belirlemek için Am ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

Sorunun net olmadığını düşünüyorsanız, bu bilgiler de bana yardımcı olacaktır.

maximum-likelihood

— Stefan
kaynak

ne anlama geliyor?

60

$60$

— Alecos Papadopoulos

Eğer için bir formül var mı

? Bu, standart hatasını tahmin etmenize yardımcı olacaktır.

\hat{α}

$\hat \alpha$

— soakley

@Glen_b Peki, alt sınır olsaydı, gerçekleşen örneğin tüm değerlerinin daha küçük olması nasıl olabilir?

— Alecos Papadopoulos

@Alecos Bu mükemmel bir nokta. Benim yorumum bir anlam ifade etmiyor; Ben onu sildim.

— Glen_b

@Alecos:

yoğunluğu ile dağılımdır

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Stefan

Yanıtlar:

Diğer cevap standart hatanın türetilmesini kapsıyor, sadece gösterimde size yardımcı olmak istiyorum:

Karışıklıklarınız, İstatistiklerde, Tahminciyi (bir işlevdir) ve belirli bir tahmini (tahmin edicinin belirli bir gerçekleştirilmiş örnek girdi olarak alırken aldığı değerdir) belirtmek için tam olarak aynı sembolü kullandığımızdan kaynaklanmaktadır.

Böylece ve için $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ . Böylece , bir rastgele değişken olarak, rastgele değişkenin ve böylece fonksiyonu kesinlikle bir değişimi sahip olmasıdır. $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

ML kestiriminde, birçok durumda hesaplayabileceğimiz şey asimtotik standart hatadır, çünkü kestiricinin sonlu örnekleme dağılımı bilinmemektedir (türetilemez).

Kesin konuşmak gerçek bir sayı (ML tahmin hemen hemen her durumda gerçek sayı) yakınsar beri, bir asimptotik dağılımı yoktur. Ama miktar $\hat \alpha$ yakınsak (merkezi limit teoreminin uygulanması ile) normal bir rasgele değişkene. $\sqrt n (\hat \alpha - \alpha)$

Notational karışıklık ikinci nokta : En, değilse tüm metinler, yazacak ne ise ( "Avar" = asimptotik varyans ") demek olan $\text {Avar}(\hat \alpha)$ , bu miktar asimptotik varyans bakınız yani $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ , değil ... Elimizdeki temel Pareto dağılımının durum için $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

ve bu

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(ama ne yazılır bulacaksınız olduğunu ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Şimdi, ne de Tahmincisi anlamda söylediği gibi, asimptotik bir sabite birleşir beri, bir "asimptotik varyans" vardır? Peki, yaklaşık anlamda ve büyük ama sonlu örnekler için. Yani "küçük" bir örnek arasında, burada Tahmin edicinin (genellikle) bilinmeyen dağılımı olan rastgele bir değişken olduğu ve tahmin edicinin sabit olduğu bir "sonsuz" örnek olduğu yerde, bu "büyük ama sonlu örnek bölgesi" olduğu Tahminci henüz sabit hale gelmemiştir ve dağılım ve varyansının bir döner kavşakta türetildiği durumlarda, önce miktarının uygun asimptotik dağılımını elde etmek için Merkezi Limit Teoremini kullanarak $\hat \alpha$ ve işler torna ve yazma (normal clt bağlı olan) $Z = \sqrt n (\hat \alpha - \alpha)$ (bir adım geri alınması ve işlenmesi sırasındasonlu gibi) gösterennormal rasgele değişken bir afin fonksiyonu olarakve normal olarak (yaklaşık her zaman) kendisini dağıtılmış. $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— Alecos Papadopoulos
kaynak

+1 for distinguishing between

\hat{α}

$\hat{\alpha}$ and

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$ -- certainly the notation can be inconsistent.

— Nate Pope

$\hat{\alpha}$ -- a maximum likelihood estimator -- is a function of a random sample, and so is also random (not fixed). An estimate of the standard error of $\hat{\alpha}$ could be obtained from the Fisher information,

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

$\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ provides about $\theta$ .

For a $\mathrm{Pareto}(\alpha,y_0)$ distribution with a single realization $Y = y$ , the log-likelihood where $y_0$ is known:

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$ Plugging in to the definition of Fisher information,

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$ For a sample

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$ The maximum likelihood estimator

\hat{α}

$\hat{\alpha}$ is asymptotically distributed as:

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$ Where

n

$n$ is the sample size. Because

α

$\alpha$ is unknown, we can plug in

\hat{α}

$\hat{\alpha}$ to obtain an estimate the standard error:

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Nate Pope
kaynak

For your second to last line,

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$ , it doesn't appear the notation is correct. If

n \to \infty

$n \to \infty$ , then

n

$n$ can't appear on the right side. Instead, you want

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— user321627