Doğrusal modeller için BLUE (OLS çözümü) dışındaki diğer tarafsız tahmin ediciler

Doğrusal bir model için OLS çözümü, parametreler için en iyi doğrusal tarafsız tahmin ediciyi sağlar.

Tabii ki daha düşük varyans için bir önyargıda işlem yapabiliriz, örneğin sırt regresyonu. Ama sorum önyargısız olmakla ilgili. Biraz yaygın olarak kullanılan, tarafsız ancak OLS tahmini parametrelerinden daha yüksek bir varyansa sahip başka tahminciler var mı?

Çok büyük bir veri setim olsaydı, elbette alt örnekleyebilir ve daha az veri ile parametreleri tahmin edebilir ve varyansı artırabilirdim. Bunun varsayımsal olarak yararlı olabileceğini düşünüyorum.

Bu daha çok retorik bir soru, çünkü MAVİ tahmin edicileri okuduğumda daha kötü bir alternatif sunulmuyor. Daha kötü alternatifler sunmanın ayrıca insanların MAVİ tahmincilerin gücünü daha iyi anlamalarına yardımcı olabileceğini düşünüyorum.

Akla gelen bir örnek, Gauss-Markov varsayımları karşılandığında gerekli olmamakla birlikte (istatistikçinin durumun bilemeyebileceği ve dolayısıyla hala GLS'yi uyguladığı) gözlemleri farklı şekilde ağırlıklandıran bazı GLS tahmincisidir.

Örnekleme için bir sabit üzerinde $y_i$ , $i=1,\ldots,n$ regresyonu durumunu düşünün (genel GLS tahmincilerini kolayca genelleştirir). Burada, $\{y_i\}$ nin ortalama $\mu$ ve varyans $\sigma^2$ olan bir popülasyondan rastgele bir örnek olduğu varsayılmaktadır .

Sonra, EKK sadece olduğunu biliyoruz β = ˉ y , örnek ortalaması. Her bir gözlem ağırlık yüklü olduğunu vurgulamak için 1 / n , bu bilgileri β = N Σ i = 1 1$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ Bu çok iyi bilinmektedir$Var(\hat\beta)=\sigma^2/n$.

Şimdi, şu şekilde yazılabilir bir tahmin edici dikkate

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ ağırlıkları, örneğin olduğu bu $\sum_iw_i=1$ . Bu, tahmin edicinin tarafsız olmasını sağlar, çünkü $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ Tüm Laiiçin$w_i=1/n$ olmadığı sürece(bu durumda elbetteOLS'ye düşecektir) varyansı, OLG'ninkini aşacaktır,örneğin bir Lagrangian aracılığıyla gösterilebilir:$i$

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ $w_i$$2\sigma^2w_i-\lambda=0$$i$$\partial L/\partial\lambda=0$$\sum_iw_i-1=0$$\lambda$$w_i=w_j$$w_i=1/n$

Aşağıda, aşağıdaki kodla oluşturulan küçük bir simülasyondan grafik bir örnek verilmiştir:

$y_i$In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

Son üçünün OLS çözeltisi tarafından daha iyi performans göstermesi, BLUE özelliği tarafından hemen ima edilmez (en azından bana değil), çünkü lineer tahmin ediciler olup olmadığı açık değildir (ne MLE ve Huber'in tarafsız olup olmadığını da bilmiyorum).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)