En küçük kareler ne zaman kötü bir fikir olurdu?

Bir regresyon modelim varsa: burada ve ,

ne zaman kullanarak ediyorum , en küçük kareler tahmincisi ait , bir tahmincisi için kötü bir seçim olabilir?$\beta_{\text{OLS}}$$\beta$

En küçük kareler kötü çalışıyor bir örnek anlamaya çalışıyorum. Bu yüzden önceki hipotezi tatmin eden ancak kötü sonuçlar veren hataların bir dağılımını arıyorum. Dağılımın ailesi ortalama ve varyansla belirlenirse, bu harika olurdu. Değilse, sorun da yok.

"Kötü sonuçlar" ın biraz belirsiz olduğunu biliyorum, ama bence bu fikir anlaşılabilir.

Sadece karışıklıklardan kaçınmak için, en küçük karelerin optimal olmadığını ve sırt regresyonu gibi daha iyi tahmincilerin olduğunu biliyorum. Ama hedeflediğim bu değil. Bir örnek istiyorum en az kareler doğal olmayan olurdu.

Hata vektörü dışbükey olmayan bir bölgede yaşıyor gibi düşünebilirim , ama bundan emin değilim.$\epsilon$$\mathbb{R}^n$

Düzenleme 1: Bir cevaba yardımcı olmak için bir fikir olarak (daha fazla nasıl ilerleyeceğimizi anlayamıyorum). MAVİ. Dolayısıyla, doğrusal bir tarafsız tahmincinin ne zaman iyi bir fikir olmayacağını düşünmek yardımcı olabilir.$\beta_{\text{OLS}}$

Düzenleme 2: Brian'ın işaret ettiği gibi, kötü koşullandırılmışsa, varyans çok büyük olduğu için kötü bir fikirdir ve bunun yerine Ridge Regresyon kullanılmalıdır. Ben daha az kareler kötü çalışmak için hangi dağıtım gerektiğini bilmek daha ilgileniyorum .$XX'$$\beta_{\text{OLS}}$$\varepsilon$

$\beta_{\text{OLS}} \sim \beta+(X'X)^{-1}X'\varepsilon$ε orada sıfır ortalama ve kimlik varyans matrisi ile bir dağıtım Bu tahmin verimli değildir nedir?$\varepsilon$

Brian Borchers'ın cevabı oldukça iyi --- garip aykırı değerler içeren veriler genellikle OLS tarafından iyi analiz edilmiyor. Bir resim, bir Monte Carlo ve bir Rkod ekleyerek bunu daha da genişleteceğim .

Çok basit bir regresyon modeli düşünün:

Bu model, 1 eğim katsayısı ile kurulumunuza uygundur.

Ekli grafik, bu modelde 100 gözlemden oluşan ve x değişkeni 0'dan 1'e çalışan bir veri kümesini gösterir. Grafik çizilen veri kümesinde, bir aykırı değerle ortaya çıkan hata üzerinde bir çizim vardır (bu durumda +31). . Mavi OLS regresyon çizgisi ve kırmızı renkte en az mutlak sapma regresyon çizgisi de çizilmiştir. OLS, ancak LAD değil aykırı değer tarafından nasıl bozulduğuna dikkat edin:

Monte Carlo yaparak bunu doğrulayabiliriz. Monte Carlo'da, aynı ve yukarıdaki dağılımı 10.000 kez olan bir kullanarak 100 gözlemden oluşan bir veri kümesi oluşturuyorum . Bu 10.000 kopyada, büyük çoğunlukta bir aykırı değer elde edemeyiz. Ama birkaçında bir aykırı değer elde edeceğiz ve her seferinde OLS'yi batıracak ama LAD değil. Aşağıdaki kod Monte Carlo'yu çalıştırıyor. Eğim katsayıları için sonuçlar:$x$$\epsilon$R

               Mean   Std Dev   Minimum   Maximum 
Slope by OLS   1.00      0.34     -1.76      3.89 
Slope by LAD   1.00      0.09      0.66      1.36

Hem OLS hem de LAD tarafsız tahmin ediciler üretir (eğimler 10.000 replikasyonu üzerinde ortalama 1,00'dür). OLS, çok daha yüksek standart sapmaya sahip bir tahminci üretir, ancak 0.34'e karşı 0.09. Bu nedenle, OLS burada yansız tahmin ediciler arasında en iyi / en verimli değildir. Elbette hala MAVİ, ama LAD doğrusal değil, bu yüzden bir çelişki yok. OLS'un Min ve Maks sütununda yapabileceği vahşi hatalara dikkat edin. O kadar LAD değil.

Hem grafik hem de Monte Carlo için R kodu:

# This program written in response to a Cross Validated question
# http://stats.stackexchange.com/questions/82864/when-would-least-squares-be-a-bad-idea

# The program runs a monte carlo to demonstrate that, in the presence of outliers,
# OLS may be a poor estimation method, even though it is BLUE.


library(quantreg)
library(plyr)

# Make a single 100 obs linear regression dataset with unusual error distribution
# Naturally, I played around with the seed to get a dataset which has one outlier
# data point.

set.seed(34543)

# First generate the unusual error term, a mixture of three components
e <- sqrt(0.04)*rnorm(100)
mixture <- runif(100)
e[mixture>0.9995] <- 31
e[mixture<0.0005] <- -31

summary(mixture)
summary(e)

# Regression model with beta=1
x <- 1:100 / 100
y <- x + e

# ols regression run on this dataset
reg1 <- lm(y~x)
summary(reg1)

# least absolute deviations run on this dataset
reg2 <- rq(y~x)
summary(reg2)

# plot, noticing how much the outlier effects ols and how little 
# it effects lad
plot(y~x)
abline(reg1,col="blue",lwd=2)
abline(reg2,col="red",lwd=2)


# Let's do a little Monte Carlo, evaluating the estimator of the slope.
# 10,000 replications, each of a dataset with 100 observations
# To do this, I make a y vector and an x vector each one 1,000,000
# observations tall.  The replications are groups of 100 in the data frame,
# so replication 1 is elements 1,2,...,100 in the data frame and replication
# 2 is 101,102,...,200.  Etc.
set.seed(2345432)
e <- sqrt(0.04)*rnorm(1000000)
mixture <- runif(1000000)
e[mixture>0.9995] <- 31
e[mixture<0.0005] <- -31
var(e)
sum(e > 30)
sum(e < -30)
rm(mixture)

x <- rep(1:100 / 100, times=10000)
y <- x + e
replication <- trunc(0:999999 / 100) + 1
mc.df <- data.frame(y,x,replication)

ols.slopes <- ddply(mc.df,.(replication),
                    function(df) coef(lm(y~x,data=df))[2])
names(ols.slopes)[2] <- "estimate"

lad.slopes <- ddply(mc.df,.(replication),
                    function(df) coef(rq(y~x,data=df))[2])
names(lad.slopes)[2] <- "estimate"

summary(ols.slopes)
sd(ols.slopes$estimate)
summary(lad.slopes)
sd(lad.slopes$estimate)

Bir örnek, ortalamayı tahmin etmek istemediğiniz yer olabilir. Bu, HIV / AIDS'in yayılmasını modellemenin bir parçası olarak, insanların seks partnerinin sayısını tahmin ettiğimiz yerde yaptığım işte ortaya çıktı. Dağıtımın kuyruklarına daha fazla ilgi vardı: Hangi insanların çok fazla ortağı var?

Bu durumda, kantil regresyon isteyebilirsiniz; bence az kullanılan bir yöntem.

Eğer bir kötü şartına matris veya tam olarak tekil, sonra da en küçük kareler tahmincisi pratikte son derece istikrarsız ve yararsız olacaktır. $X$

Dikkatinizi dağılımıyla sınırlarsanız, Gauss-Markov teoreminin en küçük kareler çözümünün minimum varyans tarafsız tahmincisi olmasını sağladığını unutmayın. $\epsilon$

Dağılımı Ancak, yeterince uç, o zaman tahminlerinin dağılımı kötü özelliklere sahip yapı örnekleri mümkündür (özellikle, son derece büyük bir hata olasılığı düşük olsa olasılığı () ) olarak en az rağmen varyans. $\epsilon$$\beta$