Hangi modeller için MLE'nin sapması varyanstan daha hızlı düşer?

Izin vermek bir maksimum bir gerçek parametrenin maksimum olasılık tahmini olabilir bazı model. Veri noktası sayısı arttıkça, genellikle olarak azalır . Üçgen eşitsizliğini ve beklentinin özelliklerini kullanarak, bu hata oranının hem "yanlılık" ve "sapma" anlamına geldiğini göstermek mümkündür. azalma $\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$ oranı. Elbette, modellerin daha hızlı küçülen önyargıya sahip olması mümkündür. Birçok modelin (oridinary en küçük kareler regresyonu gibi) yanlılığı yoktur.

daha hızlı küçülen önyargıları olan modeller ile ilgileniyorum $O(1/\sqrt n)$ , ancak sapma hala küçülür çünkü hata bu daha hızlı oranda $O(1/\sqrt n)$ . Özellikle, bir modelin önyargısının oranında küçülmesi için yeterli koşulları bilmek istiyorum $O(1/n)$ .

— Mike Izbicki
kaynak

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$ ? Veya?

— Alecos Papadopoulos

Özellikle L2 normunu soruyordum, evet. Ancak, soruyu cevaplamayı kolaylaştırırsa diğer normlarla da ilgilenirim.

— Mike Izbicki

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ ,

O_{p} (1 / n)

$O_p(1/n)$ .

— Alecos Papadopoulos

Üzgünüm, yorumunu yanlış okudum. boyutlarındaki L2 normu için ve dolayısıyla yakınsama . Karesini alırsak, olarak yakınsak olacağını kabul ediyorum .

d

$d$

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

— Mike Izbicki

Sırt regresyonu (Hoerl & Kennard 1970) belgesini gördünüz mü? Bunun tasarım matrisi + bunun doğru olması beklenen ceza üzerinde koşullar verdiğine inanıyorum.

— dcl

Yanıtlar:

Genel olarak, MLE'nin asemptotik olarak normal olmadığı, ancak başka bir dağıtımla birleştiği (ve bunu daha hızlı bir oranda) modellere ihtiyacınız vardır. Bu genellikle tahmin altındaki parametre parametre alanının sınırında olduğunda olur. Sezgisel olarak, bu, MLE'nin "sadece bir taraftan" parametresine yaklaşacağı anlamına gelir, bu nedenle parametre etrafında "ileri ve geri" giderek "dikkat dağılması" olmadığı için "yakınsama hızını" iyileştirir.

Standart bir örnek, üniforma rv'nin bir iid örneğinde için MLE'dir Burada MLE, maksimum sipariş istatistiğidir, $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

Sonlu örnek dağılımı

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Bu nedenle . Ancak aynı artış oranı varyans için de geçerli olacaktır. $B(\hat \theta_n) = O(1/n)$

Sınırlayıcı bir dağılım elde etmek için değişkenine bakmamız gerektiğini de doğrulayabiliriz (yani ile ölçeklendirmemiz gerekir ) $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

Üstel dağılımın CDF'si.

Umarım bu bir yön sağlar.

— Alecos Papadopoulos
kaynak

Bu yaklaşıyor, ancak özellikle önyargının varyanstan daha hızlı küçüldüğü durumlarla ilgileniyorum.

— Mike Izbicki

@MikeIzbicki Hmm ... sapma yakınsaması dağılımın ilk anına bağlıdır ve varyansın (kare kökü) de bir "birinci dereceden" büyüklüktür. O zaman bunun mümkün olabileceğinden emin değilim, çünkü sınırlama dağılımının anlarının birbiriyle uyumlu olmayan yakınsama hızlarında "ortaya çıktığı" ima edileceği anlaşılıyor ... Yine de düşüneceğim.

— Alecos Papadopoulos

Diğer cevabımdaki yorumlardan sonra (ve OP'nin sorusunun başlığına tekrar bakın!), Burada sorunun çok titiz bir teorik araştırması yok.

Önyargı Varyansın karekökünden farklı yakınsama hızına sahip olup olmadığını belirlemek istiyoruz , $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

Sahibiz

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

süre

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

Biz görüyoruz durumunda ne tutabilir $(2)$

A) her iki bileşen de , bu durumda sadece . $O(1/n^{2\gamma})$ $\gamma = \delta$

B) Ama aynı zamanda

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

İçin ile uyumlu olacak şekilde , biz sahip olmalıdır $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

Bu yüzden, prensip olarak, Sapmanın varyansın kare kökünden daha hızlı bir oranda birleşmesi mümkün görünmektedir. Ancak varyansın kareköküne Önyargıdan daha hızlı bir oranda yaklaşamayız.

— Alecos Papadopoulos
kaynak

Bunu sıradan en küçük kareler gibi tarafsız tahmin edicilerin varlığıyla nasıl uzlaştırırsınız? Bu durumda, , ancak .

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

— Mike Izbicki

@MikeIzbicki Yakınsama / big-O kavramı bu durumda uygulanabilir mi? Çünkü burada ile başlamak için " -her şey" değildir .

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

— Alecos Papadopoulos

Bu durumda, , dolayısıyla .

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

— Mike Izbicki

@MikeIzbicki Ama ayrıca veya ya da yazmayı düşündüğünüz herhangi bir şey. Peki burada hangisi yakınsama oranı?

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

— Alecos Papadopoulos

@MikeIzbicki Cevabımı, "sıfır yanlılık" örneğinin sorunlu olduğunu düşünsem de, prensipte Bias'ın daha hızlı yakınlaşmasının mümkün olduğunu göstermek için düzelttim.

— Alecos Papadopoulos