Tutarlı ve önyargılı bir tahminci örneği?

13

Gerçekten bunun üzerinde durdum. Gerçekten bir B tahmincisinin hem tutarlı hem de önyargılı olacağı bir örnek veya durum istiyorum.

mathematical-statistics estimation econometrics

— Jimmy Wiggles
kaynak

3

Bu bir sınıf için mi?

— Glen_b-Monica'yı Yeniden Başlat

5

Bir zaman serisi örneği aradığınız geç spesifikasyonun, bunu zaten verilen mükemmel cevapları geçersiz kılacağı için farklı bir soruya dönüştürdüğünü düşünüyorum. Ama bu iyi - Yeni bir soru sorabilirsiniz.

— Sycorax, Reinstate Monica'yı

6

Sorunuzu değiştirdiğinizi görüyorum. Önceki sorunuzla zaten birkaç cevabın ele alındığı göz önüne alındığında, bunu tekrar değiştirmenizi ve özellikle zaman serisi modelleri için yeni bir soru göndermenizi tavsiye ederim.

— JohnK

3

Zaman serisi ile ilgili bir tahminci isteseniz bile, hiç kimsenin AR için ARS'den bahsetmediği şaşırtıcıdır (1). Tahmincisi önyargılıdır, ancak tutarlıdır ve gösterilmesi oldukça kolaydır (ve googling size bu konuda bol miktarda malzeme verecektir). Düzenleme: zaman serisi isteği gibi cevapların eksikliğini açıklamak geç bir ekleme olduğu gibi görünüyor ...

— hejseb

2

İşte oldukça önemsiz bir örnek: , .

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$

ϵ \neq 0

$\epsilon \neq 0$

— dsaxton

24

Düşünebildiğim en basit örnek, çoğumuza sezgisel olarak gelen örnek varyans, yani kare sapmaların toplamının yerine bölünmesi : $n$ $n-1$

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

ve böylece kestiricinin taraflı olduğunu göstermek kolaydır . Ancak, sonlu varyans varsayarsak , yanlılığın olarak sıfıra gittiğini gözlemleyin çünkü $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ $\sigma^2$ $n \to \infty$

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

Ayrıca, tahmin edicinin varyansının sıfıra meyilli olduğu ve böylece tahmin edicinin ortalama karede birleştiği de gösterilebilir . Dolayısıyla, olasılık olarak yakınsaktır .

— JohnK
kaynak

1

Bu yararlı bir örnektir, ancak burada "önyargılı" oldukça zayıf bir yorum uygulayabilir (ki bu da sorunun kendisinde belirsiz bir şekilde kullanılır). Daha güçlü bir şey de istenebilir, örneğin, tutarlı, ancak asimptotik olarak bile yok olmayan önyargıya sahip bir dizi tahminci.

— kardinal

@cardinal Tahmincinin tutarlı olması için önyargı asimptotik olarak yok olmalıdır, değil mi?

— JohnK

3

Hayır! (Daha fazla ayrıntı için yorum akışına bakın.)

— kardinal

genellikle tarafsız tahmin ediciyi ifade ederken, genellikle MLE'yi ifade ederken , yerine tahmincinizi adlandırmanın yararlı olacağını düşünürüm .

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— Cliff AB

@CliffAB Evet, indeksi budur, kare sapmaların toplamı geleneksel yerine bölünür .

n

$n$

n

$n$

n - 1

$n-1$

— JohnK

9

Basit bir örnek tahmin olacaktır parametre verilen IID gözlemler . $\theta > 0$ $n$ $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

Let . Herhangi bir sonlu için (yani tahminci önyargılıdır), ancak sınırda olasılıkla eşit olacaktır (bu yüzden tutarlıdır). $\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

— Adrian
kaynak

7

Herhangi bir tarafsız ve tutarlı tahmincisi ve 1'e ( rasgele olması gerekmez) bir dizi ve . Önyargılıdır, ancak yaklaştığından tutarlıdır . $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

Vikipedi'den:

Gevşek bir şekilde, parametresinin bir tahmincisi , parametrenin gerçek değerine olasılıkla yakınsarsa tutarlı olduğu söylenir: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Şimdi bir tahmincinin yanlılığının şu şekilde tanımlandığını hatırlayın:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

Önyargı aslında sıfır değildir ve olasılıktaki yakınsama doğru kalır.

— RUser4512
kaynak

Yanıt ve açıklamayı takdir ediyorum. Şimdi daha iyi bir anlayışım var. Teşekkürler

— Jimmy Wiggles

Bu cevap küçük bir düzeltme-up başında açıklığa kavuşturmak gerekiyor değil herhangi tarafsız yapacağız. Orijinal tahminci dizisinin kendisi tutarlı olmalıdır.

T_{n}

$T_n$

— kardinal

3

Regresör olarak dahil edilen gecikmeli bağımlı değişkenli bir zaman serisi ayarında, OLS tahmincisi tutarlı olacak ancak önyargılı olacaktır. Bunun nedeni OLS tahmincisinin tarafsızlığını göstermek için sıkı bir dışsallığa ihtiyacımız var, , örneğin, hata terimi, bu , döneminde her zaman diliminde her regresyonu ile ilintisizdir. Ancak, OLS tahmincisinin tutarlılığını göstermek için sadece çağdaş dışsallığa ihtiyacımız var, Right , yani hata terimi, , döneminde regresörler ile ilgisi yoktur, $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ döneminde . AR (1) modelini düşünün: ile . $t$ $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

Birincisi, katı dışsallığın, regresör olarak dahil edilen gecikmeli bağımlı değişkenli bir modelde olmadığını göstermektedir. Arasındaki korelasyon inceleyelim ve $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

Sıralı eksojenliği varsayarsak, , yani hata terimi, , döneminde önceki saat süresi ve akım tüm regresyonu üzerindeki ilk terim ile ilintisizdir , yok olur. Yukarıda açık olan, katı bir dışsallığımız yoksa, . Ancak, çağdaş dışsallığın, Right] 'in geçerli olduğu açık olmalıdır . $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Şimdi yukarıda belirtilen AR (1) modelini tahmin ederken OLS tahmincisinin yanlılığına bakalım. , un OLS tahmincisi şu şekilde verilir: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

Ardından, önceki, eş zamanlı ve gelecekteki tüm değerler için koşullu beklenti alın, , : $E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Ancak, bu şekilde anlamı bu ve dolayısıyla ama önyargılı: $Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

AR (1) modelinde OLS tahmincisinin tutarlılığını gösterdiğim tek şey çağdaş dışsallık, Right şu an koşuluna yol açar, ile . Daha önce olduğu gibi , un OLS tahmincisinin şu şekilde verildiğini görüyoruz : $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Şimdi ve pozitif ve sonlu, . $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

Daha sonra, ve büyük sayılar kanunu (LLN) uygulandığı sürece, . Bu sonucu kullanarak: $T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

Böylece , AR (1) modelinde , un OLS tahmincisinin taraflı ama tutarlı olduğu gösterilmiştir. Bu sonucun gecikmeli bağımlı değişkenin regresör olarak dahil edildiği tüm regresyonlar için geçerli olduğuna dikkat edin. $p$ $\hat{\rho}$

— Plissken
kaynak