Bağımlı değişkene göre artıkların parsellerini incelemek mantıklı mı?

Tek değişkenli bir regresyon elde ettiğimde, artıkların değişkenlerini bağımlı değişkenle ilgili olarak incelemenin mantıklı olup olmadığını bilmek istiyorum. Mantıklıysa, artıklar (y ekseninde) ile bağımlı değişkenin (x ekseninde) tahmini değerleri arasında güçlü, doğrusal, büyüyen bir korelasyon ne anlama gelir?

Varsayalım ki , burada β 1 ≈ 0 . Sonra, y i - β 0 ≈ ϵ i . Y değeri ne kadar yüksek olursa , artık o kadar büyük olur. Aksine, x'e karşı artıkların bir çizimi sistematik bir ilişki göstermemelidir. Aynı zamanda, beklenilen değeri y ı yaklaşık olmalıdır$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$--- her gözlem için aynı. Öngörülen tüm değerler kabaca aynı ise, hatalarla ilişkilendirilmemelidir.

Planın bana söylediği şey, ve y'nin esasen ilgisiz olmasıdır (elbette bunu göstermenin daha iyi yolları vardır). Senin katsayısı varsa bize bildirin p 1 0'a yakın değildir.$x$$y$$\hat{\beta}_1$

Daha iyi teşhis olarak, tahmini ücrete veya değerine karşı artıkların bir grafiğini kullanın . Bu grafiklerde ayırt edilebilir bir örüntü gözlemlememelisiniz.$x$

Biraz R gösterisi yapmak istiyorsanız, işte başlıyoruz:

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

Tahmini modelin doğru bir şekilde belirtildiği varsayılarak ...

Let göstermektedirler , matris P X , bir çıkıntı matris yani P 2 x = p $P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$ ve $P_X'=P_X$ .

$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$ .

Dolayısıyla, kalıntıların tahmin edilen bağımlı değişkene karşı dağılım grafiği hiçbir korelasyon göstermemelidir.

Fakat!

.$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$

Matris $\sigma^2(I-P_X)$ olan bir çıkıntı matrisi, kendi öz değerleri, 0 veya +1, pozitif yarı kesin var. Bu yüzden diyagonalde negatif olmayan değerlere sahip olmalıdır. Dolayısıyla, kalıntıların orijinal bağımlı değişkene karşı dağılım grafiği pozitif korelasyon göstermelidir.

Bildiğim kadarıyla Gretl, varsayılan olarak orijinal bağımlı değişkene karşı tahmin grafiği üretiyor (tahmin edileni değil!).

Takılmış / tahmin edilen değerleri gerçek değerlerle karıştırmanız mümkün mü?

@Gung ve @biostat'ın dediği gibi, uygun değerler ile artıklar arasında bir ilişki olmadığını umuyorsunuz. Öte yandan, bağımlı / sonuç değişkeninin gerçek değerleri ile artıklar arasında doğrusal bir ilişki bulunması beklenmelidir ve özellikle bilgilendirici değildir.

Önceki cümleyi açıklığa kavuşturmak için eklendi: Sadece artıklar ve çıktının gerçek değerleri arasında herhangi bir doğrusal ilişki beklenmeyecek ... Y'nin düşük ölçülen değerleri için, Y'nin faydalı bir modelden öngörülen değerleri daha yüksek olacaktır. ölçülen gerçek değerler ve tam tersi.

Verilen cevaplar bana burada neler olduğu hakkında bazı fikirler veriyor. Kazayla yapılan bazı hatalar olabileceğine inanıyorum. Aşağıdaki hikayenin mantıklı olup olmadığına bakın: Başlamak için, verilerde X & Y arasında güçlü bir ilişki olduğunu düşünüyorum (burada bazı kodlar ve bir çizim):

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

Ancak yanlışlıkla Y sadece ortalamadan tahmin edildi. Bunu birleştirerek, ortalama tek modelin kalıntıları, amaçlanan değerlere (kod ve çizim) karşı koymak olsa bile X'e karşı çizilir:

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

Bunu uygun modeli takarak ve kalıntıları bundan ayırarak düzeltebiliriz (kod ve çizim):

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

Bu sadece başladığımda yaptığım goof-up'lara benziyor.

Bu grafik taktığınız modelin iyi olmadığını gösterir. @Gung'un ana soru üzerine ilk yorumlarında söylediği gibi, öngörülen cevap ile artık arasında bir ilişki olmaması gerektiğini söyledi.

"Bir analist rastgele tarzda bir yanıt tahmin etmede err bir regresyon modeli beklenebilir; modeli fiili daha yüksek değerler tahmin ve eşit olasılıkla gerçek daha düşük olmalıdır bakın. Bu "

Aralarındaki ilişkiyi görmek için ilk değişken tepkisine karşı bağımsız değişken öneririm. Modele polinom terimleri eklemek mantıklı olabilir.

X & Y değişkeni arasında bir ilişki yoksa bu olmaz mı? Bu grafiğe baktığımızda, aslında Y'yi ortalama ile tahmin ettiğiniz anlaşılıyor.

OP'nin orijinal yanıt değişkenine (modelden takılan yanıt değişkeni değil) karşı artıklar çizdiğini düşünüyorum. Her zaman böyle araziler görüyorum, neredeyse aynı kalıpta. Artıklar ve uygun değerler çizdiğinizden emin olun, çünkü artıklardan orijinal Y'ye karşı ne kadar anlamlı çıkarım yapabileceğinizden emin değilim. Ama kesinlikle yanlış olabilirim.