Objektif maksimum olabilirlik tahmincisi her zaman en iyi tarafsız tahmin edici midir?

22

Düzenli problemler için biliyorum, en iyi düzenli tarafsız tahmin edicimiz varsa, maksimum olasılık tahmincisi (MLE) olmalı. Ancak, genel olarak, tarafsız bir MLE'ye sahip olursak, aynı zamanda en iyi tarafsız tahmin edici olur mu (ya da en küçük varyansa sahip olduğu sürece belki de UMVUE demeliyim)?

mathematical-statistics maximum-likelihood unbiased-estimator

— Gary Cheng
kaynak

3

İlginç soru. MLE, yeterli istatistiklerin bir fonksiyonudur ve UMVUE'ler tam ve yeterli istatistiklere koşullandırılarak elde edilebilir. Bu nedenle, eğer MLE tarafsızsa (ve yeterli istatistiğin bir işlevi ise), minimum varyansa sahip olmamak için mümkün olan tek yol, yeterli istatistiğin tamamlanmamasıdır. Bir örnek bulmaya çalıştım, ancak başarısız oldu.

— Greenparker

2

Ve burada yeterli ve tam istatistikler hakkında bazı kısa bilgiler.

— Richard Hardy,

10

Asıl mesele MLE nadiren tarafsız olduğuna fazlasıdır: eğer tarafsız tahmincisi olan ve MLE , arasında MLE olan ama çoğu için önyargılı bibektif dönüşümler .

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— Xi'an

1

Bu alakalı mı? "Nüfusun neredeyse tarafsız bir tahmincisi" Vyas Dubey Pt.Ravishankar Shukla Üniversitesi, Raipur, Hindistan

2

Xi'ans yorumu için +1. En iyi tahmin edici, minimum sapma anlamına gelir, yansız başka bir şey demektir. Bu yüzden, birinin diğeriyle ilgisi olmadığı için bunu ispatlamaya başlayacağınızdan emin değilim. Fakat kendi türevime bile başlamadan önce, (deneme) kanıtı üzerinde ciddi bir çaba görmek istiyorum. İlk ifadenin ispatının bile (MLE belirli durumlar için en uygunudur) önemsiz olmadığını söyleyebilirim.

— melek,

13

Benim düşünceme göre, soru, olasılık ve yansızlığın en üst düzeye çıkarılmasının üstesinden gelmemesiyle tam olarak örtüşmüyor , eğer sadece eğer maksimum olasılık tahmin edicileri eşitse , yani tahmin edicinin dönüşümü, parametrenin dönüşümünün tahmincisi ise tarafsızlık doğrusal olmayan dönüşümlerin altında durmaz. Bu nedenle, maksimum olasılık tahmin edicileri "neredeyse" bütün olası parametreleştirmeler aralığında kabul edilirse, neredeyse asla tarafsız değildir.

Ancak, sorusuna daha doğrudan cevap var: Normal varyansın tahmini dikkate alındığında, , bir UMVUE olduğu maksimum olabilirlik tahmininin ise olduğu Ergo, bunlar farklı. Bu demek ki $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

en iyi düzenli tarafsız tahmin edicimiz varsa, maksimum olasılık tahmincisi (MLE) olmalıdır.

genel olarak tutmaz.

Bundan başka, parametresinin yansız tahmin edicileri olsa bile , mutlaka en iyi yansız bir minimum varyans tahmincisinin (UNMVUE) bulunmadığına dikkat edin. $\theta$

— Xi'an
kaynak

Öyleyse tarafsız bir MLE'nin (U) MVUE olduğunu söyleyebiliriz, ancak her (U) MVUE'nun MLE olmadığını söyleyebilir miyiz?

— Sextus Empiricus

2

Hayır, bunun genel olarak doğru olduğuna inanmak için hiçbir nedenimiz yok.

— Xi'an,

13

Ancak, genel olarak, tarafsız bir MLE'ye sahip olursak, aynı zamanda en iyi tarafsız tahmin edici olur mu?

Eğer yeterli bir istatistik varsa, evet .

Kanıt:

Lehmann – Scheffé teoremi : Yeterli bir tam istatistik fonksiyonu olan herhangi bir tarafsız tahmin edici en iyisidir (UMVUE).
MLE, yeterli istatistiklerin bir fonksiyonudur. 4.2.3 bakınız burada ;

Bu nedenle, tarafsız bir MLE, yeterli bir istatistik mevcut olduğu sürece mutlaka en iyisidir.

Fakat aslında bu sonucun neredeyse hiçbir uygulama durumu yoktur çünkü yeterli bir istatistik neredeyse hiç yoktur. Bunun nedeni, tam olarak yeterli istatistiklerin (esas olarak) sadece MLE'nin en sık önyargılı olduğu (Gaussian'ların konum parametresi hariç) üssel aileler için var olmasıdır.

Yani asıl cevap aslında hayır .

Genel bir karşı örnek verilebilir: olasılığı ile herhangi bir yer aile ) ile simetrik 0 çevresinde ( ). Numune büyüklüğü , aşağıdakiler geçerlidir: $p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLE tarafsızdır
Pitman'ın eşdeğer tahmincisi olarak bilinen başka bir tarafsız tahmin edicinin egemenliği altındadır.

Hakimiyet çoğu zaman kesindir, dolayısıyla MLE kabul edilebilir değildir. Cauchy olduğu kanıtlandı ancak sanırım genel bir gerçek. Böylece MLE UMVU olamaz. Aslında, bu aileler için, ılımlı koşullarda, hiçbir zaman bir UMVUE olmadığı bilinmektedir. Örnek bu soruda referanslar ve birkaç kanıtla incelendi . $p$

— Benoit Sanchez
kaynak

Neden bu en yüksek oylara sahip değil? Bu cevabın Xian'ınkinden daha iyi olduğunu hissettim.

— Red Floyd,

0

MLE'nin asimptotik varyansı UMVUE'dur, yani daha ince bir sınır alt sınırına sahiptir, ancak sonlu varyans, tahmin edicinin UMVUE olduğundan emin olmak için UMVUE olmayabilir;

— serhat şimşek
kaynak

0

Kısacası, bir tahminci tarafsız ise ve tam ve yeterli bir istatistiğin işlevi ise UMVUE'dir. (Bkz. Rao-Blackwell ve Scheffe)

— creutzml
kaynak

Bu, üstel ailelere sınırlandırıldığı anlamına geliyor.

— Xi'an