MLE ait asimptotik normal bir zaman ?

Diyelim ki pdf'ye sahip $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

Bu nedenle bu popülasyondan alınan örneğin yoğunluğu $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

maksimum olabilirlik tahmincisi şu şekilde türetilebilir: $\theta$

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Bu MLE'nin sınır dağılımının normal olup olmadığını bilmek istiyorum.

$\theta$ göre için yeterli bir istatistiğin $(\overline X,\overline Y)$ olduğu açıktır .

Şimdi MLE'nin normal tek parametreli üstel ailenin bir üyesi olsaydı şüphesiz asimptotik olarak normal olduğunu söyleyebilirim. Durum böyle olduğunu düşünmüyorum, çünkü kısmen tek boyutlu bir parametre için iki boyutlu yeterli bir istatistiğe sahibiz (örneğin dağılımında olduğu gibi). $N(\theta,\theta^2)$

ve aslında bağımsız Üstel değişkenler olduğu gerçeğini kullanarak, kesin dağılımının öyle olduğunu gösterebilirim . $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Buradan sınırlayıcı dağılımı bulmaya devam edemem.

Bunun yerine WLLN tarafından ve theta'nın üstesinden geldiğini iddia edebilirim , böylece . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

Bu bana söyleyen yakınsak dağıtımında için . Ama bu yana, bir sürpriz olarak gelmiyor ait is 'iyi' tahmincisi . Ve bu sonuç gibi bir şeyin normal olup olmadığı sonucuna kadar güçlü değildir. CLT kullanarak da makul bir argüman bulamadım. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Dolayısıyla, buradaki ebeveyn dağılımının, MLE'nin sınır dağılımının normal olması için düzenlilik koşullarını sağlayıp sağlamadığı soru olmaya devam etmektedir.

— StubbornAtom
kaynak

Ampirik olarak normale çok yakın görünüyor. değerini olarak ayarlamak daha kolay olabilir (sadece bir ölçeklendirme faktörüdür) ve sonra iid üstel rasgele değişkenlerin örnek araçlarının oranının kare kökünün dağılımının asemptotik olarak normal olup olmadığını düşünebilirsiniz. Delta yöntemini kullanarak, asidtotik olarak normal olan iid üstel rasgele değişkenlerin örnekleme araçlarının oranının dağılımına karşılık gelir. Ve bu, şekil parametresi arttıkça asimptotik olarak normal olan iki iid gama rasgele değişken oranının dağılımına karşılık gelir.

θ

$\theta$

1

$1$

— Henry

MLE'lerin asimptotik normallerinin Üstel ailelerle hiçbir ilgisi yoktur. Sezgisel olarak, asimtotik normallerin geçerli olması için, çözümün parametre alanının sınırına yakın olma şansının olmadığından emin olmanız gerekir.

— whuber

@whuber Bildiğim kadarıyla, kanonik üstel ailenin üyeleri olan pdfs neredeyse her zaman asimptotik olarak normal olan MLE'lere sahiptir (exp ailesinden kaynaklanmadığı için değil). İşaret etmeye çalıştığım bağlantı bu.

— StubbornAtom

Doğru: ama bağlantı bir yol. MLE için asimptotik sonuçlar çok daha geneldir ve bu nedenle Üstel ailelerin özelliklerine odaklanmak yerine bu genel yöne bakmanın daha verimli bir araştırma olabileceğini öne sürmeye çalışıyordum.

— whuber

Burada yapıldığı gibi, çok değişkenli CLT ve delta yöntemi kullanan bir kanıt da mümkündür .

— StubbornAtom

Asimtotik normallik için doğrudan bir kanıt:

Buradaki günlük olasılığı

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Birinci ve ikinci türevler

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

MLE tatmin oluyor $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

olduğumuz gerçek değerin çevresine ortalama bir değer genişletmesi uygulamak $\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

bazıları için içinde arasına ve . Yeniden düzenleme, $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Ancak tek parametreli durumumuzda, tersi sadece karşılıklıdır, bu nedenle, türevlerin spesifik ifadelerini de ekler,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

Toplamın varyansı

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

İid öğelerinin toplamı için kullanarak ifadeyi değiştirmek, $S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

Dahası, , yani . Yani klasik bir CLT konusuna sahibiz ve Lindeberg durumunun karşılandığını doğrulayabiliriz. Bunu takip eder $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Tahmincinin tutarlılığı nedeniyle,

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

ve Slutsky'nin Teoremi ile

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Güzel. Bilgileri iki , varyansın yarısı ( tek bir rastgele değişkenin örneğini temel alarak tahmin ettiğimiz duruma kıyasla ). $\theta_0$

Not: Yukarıdaki ifadelerde görünmesi, @ whuber'ın MLE'nin asimptotik normallerinin, bilinmeyen parametrenin parametre boşluğunun sınırından uzakta (bizim durumumuzda sıfırdan uzak) olması gerektiği yorumuna işaret ediyor. $\theta_0$

— Alecos Papadopoulos
kaynak

Geç cevap verdiğim için özür dilerim. Bunca zamandır bunun kavisli bir üstel aile olup olmadığını ve MLE'nin farklı davranabileceğini düşünüyordum.

— StubbornAtom

@StubbornAtom Tahmin altındaki parametre parametrenin sınırında olduğunda asimptotik normallik kesinlikle kaybolur (bunu düşünürseniz oldukça sezgisel bir sonuç).

— Alecos Papadopoulos