Artıklar altta yatan rahatsızlıklarla nasıl ilişkilidir?

9

En küçük kareler yönteminde, modeldeki bilinmeyen parametreleri tahmin etmek istiyoruz:

Y_{j} = α + β x_{j} + ε_{j} (j = 1 ... n)

$Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n)$

Bunu yaptıktan sonra (bazı gözlemlenen değerler için), uygun regresyon hattını elde ederiz:

Y_{j} = \hat{α} + \hat{β} x + e_{j} (j = 1, . . . n)

$Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n)$

Şimdi açıkça varsayımların yerine getirildiğinden emin olmak için bazı grafikleri kontrol etmek istiyoruz. kontrol etmek istediğinizi varsayalım, ancak bunu yapmak için aslında kalıntılarını kontrol . Diyelim ki artık ve öngörülen değerler grafiğini inceliyorsunuz, eğer bu bize heteroscedastisitenin belirgin olduğunu gösteriyorsa, bu durum rahatsızlık terimi ile nasıl ilişkilidir ? Kalıntılardaki heterossedastisite rahatsızlık açısından heteroscedastisite anlamına mı geliyor? $e_j$ $\varepsilon_j$

— Danny
kaynak

3

Bunu düşünmenin en basit yolu, ham artıklarınızın ( ) karşılık gelen bozuklukların ( ) . Bununla birlikte, bazı ekstra karmaşıklıklar vardır. Örneğin, standart OLS modelinde hataların / rahatsızlıkların bağımsız olduğunu varsaysak da, artıkların hepsi olamaz. Genel olarak, sadece kalıntıları bağımsız olabilir, çünkü ortalama modeli tahmin etmek için serbestlik dereceleri kullandınız ve artıklar ile sınırlandırılmıştır. $e_j = y_j-\hat y_j$ $\hat\varepsilon_j = e_j$ $N-p-1$ $p-1$ $0$ . Ek olarak, ham artıkların standart sapması aslında sabit değildir. Genel olarak, regresyon hattı ortalama olarak daha fazla kaldıraç olan noktalara daha yakın olacak şekilde yerleştirilir. Sonuç olarak, bu noktalar için artıkların standart sapması düşük kaldıraç noktalarından daha küçüktür. (Bununla ilgili daha fazla bilgi için, aşağıdaki cevapları okumak yardımcı olabilir: plot.lm () ve / veya burada yorumlama : Doğrusal regresyonda ikili / dikotom bağımsız öngörücüler için artık analiz nasıl yapılır? )

— gung - Monica'yı eski durumuna döndürün
kaynak

3

Açıklığa kavuşturmak için, en fazla Np-1 kalıntısı bağımsız olabilir, ancak tipik olarak hepsi birbiriyle ilişkilidir; bunun yerine, bunların Np-1 bağımsız bileşenlerine sahip olabilen lineer dönüşümleri vardır.

— Glen_b-Monica'yı geri yükle

@ Glen_b, iyi bir nokta.

— gung - Monica'yı eski

8

ve arasındaki ilişki : $\hat{\varepsilon}$ $\varepsilon$

\hat{ε} = (ben -'H) ε

$\hat{\varepsilon} = (I-H) \varepsilon$

burada , şapka matrisi, . $H$ $X(X^TX)^{-1}X^T$

Yani tüm hataların doğrusal bir birleşimidir, ancak tipik olarak ağırlığın çoğu on'a düşer . $\hat{\varepsilon}_i$ $i$

carsR'deki veri kümesini kullanarak bir örnek : Mor ile işaretlenmiş noktayı düşünün:

resim açıklamasını buraya girin

Buna noktası diyelim . Kalan ; burada diğer hatalar için , bölgesindedir: $i$ $\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$ $w_j$

resim açıklamasını buraya girin

Bunu şu şekilde yeniden yazabiliriz:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

veya daha genel olarak

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

burada , çapraz elemanıdır . Benzer şekilde, yukarıdaki . $h_{ii}$ $i$ $H$ $w_j$ $h_{ij}$

Hatalar , bu örnekte, bu diğer hataların ağırlıklı toplamı, Gözlem hatasının hatasının kalıcılığı üzerindeki etkisinin yaklaşık 1 / 7'sine karşılık gelen standart bir sapmaya sahip olacaktır. . $N(0,\sigma^2)$ $i$

Yani, iyi davranılmış regresyonlarda, artıklar çoğunlukla hata teriminin gözlemlenemeyen orta derecede gürültülü bir tahmini gibi muamele edilebilir. Merkezden daha fazla nokta düşündüğümüzde, işler biraz daha az iyi çalışır (kalıntı hata üzerinde daha az ağırlıklı olur ve diğer hatalar üzerinde ağırlıklar daha az olur).

Birçok parametrede veya çok iyi dağıtılmadığı durumlarda, artıklar hatalara çok daha az benzeyebilir. Bazı örnekleri denemek isteyebilirsiniz. $X$

— Glen_b-Monica'yı eski durumuna döndür
kaynak

2

Bu doğru yaklaşım. Ek olarak ihtiyacı olan şey köşegen elemanlarının tipik olarak "küçük" olduğudur. Bu, izin bağımsız değişkenlerin sayısına (varsa, kesişim dahil) eşit olduğunu göstererek yapılır - ki bu bir projeksiyon matrisinden derhal. Bu sonucun, dağıtım varsayımlarından bağımsız olduğunu unutmayın : Normal olmaları gerekmez. Aynı zamanda için herhangi bir gerçek formülden bağımsızdır ; boyutların sayısının bir sonucudur.

H

$H$

ε_{i}

$\varepsilon_i$

H

$H$

— whuber

gözlem sayısı azsa, artıkların hatalara çok daha az benzeyebileceği başka bir durum olmaz mı? Genellikle @whuber, izinin bağımsız değişkenlerin sayısına eşit olduğunu belirttiği gibi, çapraz elemanlarının küçük olduğunu ima eder, ancak bu elemanların sayısının kendisi küçükse, mutlaka böyle olmaz .

n

$n$

H

$H$

n

$n$

— Adam Bailey

@AdamBailey Tabii Zamanı geldiğinde küçük ... ama bu en yüzünden bile nispeten büyük olan sadece 1 veya 2'dir

n

$n$

p / n

$p/n$

p

$p$

— Glen_b -Reinstate Monica