Tutarlı bir tahmin edici ile tarafsız bir tahmin edici arasındaki fark nedir?

125

Bunu gerçekten kimsenin sormamış gibi görünmesine şaşırdım ...

Tahmin edicileri tartışırken, sıklıkla kullanılan iki terim "tutarlı" ve "yansız" dır. Sorum basit: fark nedir?

Bu terimlerin kesin teknik tanımları oldukça karmaşıktır ve bunların ne için sezgisel bir fikir edinmesini zor demek . İyi bir tahminci ve kötü bir tahminci hayal edebiliyorum, ancak herhangi bir tahmin edicinin bir şartı yerine diğer şartı nasıl yerine getirebileceğini görmekte zorlanıyorum.

unbiased-estimator estimators consistency

— MathematicalOrchid
kaynak

Vikipedi maddesindeki tutarlı tahmin ediciler hakkındaki ilk rakama , bu ayrımı özellikle açıklayana baktınız mı ?

— whuber

Hem tutarlılık hem de önyargı için makaleleri okudum, ancak hala ayrımı gerçekten anlamadım. (Bahsettiğiniz rakam, tahmin edicinin tutarlı olduğunu, ancak önyargılı olduğunu ancak nedenini açıklayamadığını iddia eder .)

— MathematicalOrchid

Açıklamanın hangi kısmı ile yardıma ihtiyacınız var? Başlık, dizideki tahmin edicilerin her birinin önyargılı olduğuna işaret eder ve ayrıca dizinin neden tutarlı olduğunu da açıklar. Bu tahmin edicilerdeki önyargının şekilden nasıl anlaşıldığının bir açıklamasına ihtiyacınız var mı?

— whuber

+1 Bu cevaplardan birini izleyen yorum başlığı, hem konu hakkında ortaya koyduğu şey için hem de bir çevrimiçi topluluğun yanlış anlamaları ortaya çıkarmak ve gidermek için nasıl çalışabileceğinin ilginç bir örneği olarak çok aydınlatıcı.

— whuber

Related: stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

Yanıtlar:

126

İki terimi çok fazla teknik dil kullanmadan tanımlamak için:

Bir tahminci, numune büyüklüğü arttıkça, tahmin edicilerin (tahmin edici tarafından üretilen) tahmin edilen parametrenin gerçek değerine "yakınlaşması" durumunda tutarlıdır . Biraz daha kesin olmak gerekirse - tutarlılık, örneklem büyüklüğü arttıkça, tahmin edicinin örnekleme dağılımının artan gerçek parametre değerinde yoğunlaştığı anlamına gelir.
Bir tahmin edici, ortalama olarak gerçek parametre değerine ulaşırsa tarafsızdır . Yani, tahmin edicinin örnekleme dağılımının ortalaması, gerçek parametre değerine eşittir.
İkisi eşdeğer değildir: Tarafsızlık , tahmin edicinin örnekleme dağılımının beklenen değeri hakkında bir ifadedir. Tutarlılık , örnek büyüklüğü arttıkça “tahmin edicinin örnekleme dağılımının nereye gittiği” hakkında bir ifadedir.

Bir koşulun yerine getirilmesi kesinlikle diğerinin mümkün olmamasıdır - iki örnek vereceğim. Her iki örnek için de bir popülasyonundan bir örneği düşünün . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Basılmamış ancak tutarlı değil: Diyelim ki . Daha sonra tarafsız bir tahmin olup yana . Ancak, örnek boyutu arttıkça dağılımı çevresinde daha fazla yoğunlaşmadığından tutarlı değildir - her zaman ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Tutarlı ama tarafsız değil: olduğunu tahmin ettiğinizi varsayalım . Maksimum olabilirlik tahmin edilir burada örnek ortalamasıdır. Buradaki bilgiler kullanılarak elde edilebilecek olan , olduğu bir gerçektir . Bu nedenle , herhangi bir sonlu örneklem büyüklüğü için önyargılıdır. Kolayca türevini de yapabiliriz. dağılımı $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ Ortalama boyutu yaklaştığından ve varyans yaklaştığından , örnek boyutu arttıkça gittikçe daha fazla yoğunlaşmaktadır . ( Not: Bu, yanıt kullanılanla aynı bağımsız değişken ile, bir tutarlılık kanıt teşkil etmez burada ) $\sigma^2$ $\sigma^2$ $0$

— Makro
kaynak

(+1) Tüm MLE'ler tutarlı değil: genel sonuç, MLE'lerin diziliminde tutarlı bir sonuç olduğudur. Düzgün tutarlılık için, tanımlanabilirlik gibi birkaç ek gereklilik gereklidir. Tutarlı olmayan MLE örnekleri, bazı değişkenlerdeki hata modellerinde bulunur ("maksimum" değerinin bir eyer noktası olduğu ortaya çıkar).

— MånsT

Eh, bahsettiğim EIV MLE'ler belki iyi bir örnek değil, çünkü olasılık işlevi sınırsız ve maksimum yok. ML yaklaşımının nasıl başarısız olabileceğinin güzel örnekleri :) :) Şu anda alakalı bir bağlantı veremediğim için üzgünüm - tatildeyim.

— MånsT

@ MånsT teşekkür ederiz. Gerekli şartlar bağlantıda belirtildi, ancak ifadelerden açıkça anlaşılmadı.

— Makro

Sadece bir yan not: parametre uzayı o linkten koşullarda aksine, bu durumda kesinlikle kompakt değildir, ne de günlük olabilirlik içbükey wrt olan kendisinin. Belirtilen tutarlılık sonucu elbette hala geçerli.

σ^{2}

$\sigma^2$

— kardinal

Haklısın, @ cardinal, bu referansı sileceğim. Yeterince açıktır ve ama sokak istemiyorum Bunu, tutarlılığını kanıtlamak için bir alıştırma haline getirin .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— Makro

Bir tahmincinin tutarlılığı, örneklem büyüklüğü arttıkça, tahminin parametrenin gerçek değerine yaklaştığı ve yaklaştığı anlamına gelir. Yeniden satış, artan numune büyüklüğünden etkilenmeyen sonlu bir örnek özelliğidir. Bir tahmin, beklenen değeri gerçek parametre değerine eşitse tarafsızdır. Bu, tüm örnek boyutları için geçerli olacaktır ve tutarlılık asimptotiktir ve sadece yaklaşık olarak eşittir ve kesin değildir.

Bir tahmin edicinin tarafsız olduğunu söylemek, eğer boyutunda birçok örnek aldıysanız ve tahmini her hesaplamayı hesaplarsanız, tüm bu tahminlerin ortalamasının gerçek parametre değerine yakın olacağı ve yaptığınız sayı arttıkça yaklaşacağınız anlamına gelir. . Örnek ortalama hem tutarlı hem de tarafsızdır. Standart sapmanın örnek tahmini yanlı ama tutarlıdır. $n$

@ Cardinal ve @Macro ile yapılan yorumlardaki tartışmayı takiben güncelleme: Aşağıda açıklandığı gibi, tahmin edicinin kuvvetli bir şekilde tutarlı olması için varyansın 0'a gitmesi gerekmeyen ve sapmanın bile devam etmesi gerekmeyen patolojik durumlar vardır. 0 da.

— Michael Chernick
kaynak

Cevabınız için @MichaelChernick +1, ancak yorumunuzla ilgili olarak, tutarlı bir tahmin edicinin varyansı mutlaka gitmez . Örneğin , , bir örnek ise , o zaman (güçlü) tutarlı bir tahmincisi ise , ancak tüm, .

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator: (+2) Her bir için ortalama olsa bile, önyargının sıfıra

n

$n$

— kardinal

Michael, cevabının gövdesi oldukça iyi; Sanırım kargaşanın ilk yorumunuzda ortaya çıktığını düşünüyorum, bu da açıkça yanlış ve potansiyel karışıklık noktaları olan iki ifade ile sonuçlanıyor. (Gerçekten de, birçok öğrenci, farklı yakınsama modları ve anlamları arasındaki kötü tasavvur nedeniyle kesin olarak bu kavram yanılgılarını içeren bir giriş lisansüstü istatistik sınıfından uzaklaşır. Son yorumunuz biraz sert olabilir.)

— Cardinal

Ne yazık ki, ilk yorumunuzdaki ilk iki cümle ve ikinci yorumun tamamı ise yanlıştır. Ancak, sizi bu gerçeklere ikna etmeye çalışmanın verimli olmadığını düşünüyorum.

— kardinal

İşte bir kuşkusuz saçma, ama basit bir örnek. Fikir, neyin yanlış gidebileceğini ve neyin yanlış gidebileceğini göstermektir . Bu vermez pratik uygulamalara sahiptir. Örnek : Sonlu ikinci an ile tipik iid modelini düşünün. Let bağımsız ve olasılık, her biri ile, başka türlü sıfır keyfi. Ardından tarafsız olduğunu sınırlanmış varyansa sahip aşağıda tarafından ve

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ neredeyse kesinlikle (kesinlikle tutarlı). Önyargı ile ilgili davayı alıştırma olarak bırakıyorum.

— kardinal

-5

Tutarlılık: [örnek büyüklüğü arttıkça, tahminler (üretilen tarafından üretilen) tahmin edilen parametrenin gerçek değerine "yakınsama" yapmadan önce çok iyi açıklanmıştır.

Tarafsızlık: Gauss-Markov Teoremi olarak bilinen 1-5 MLR varsayımlarını karşılar

doğrusallık,
rasgele örnekleme
sıfır koşullu ortalama hata beklentisi
mükemmel bir uyumluluk yok
homoskedasticity

O zaman tahmin edicinin MAVİ olduğu söylenir (en iyi doğrusal yansız tahmin edici

— Nikolina Langura
kaynak