Açıklayıcı değişken eklenirken kare şeklindeki artıkların toplamı neden artmıyor?

9

OLS'yi kapsayan ekonometrik ders kitabımda (Tanılayıcı Ekonometri), yazar "Başka bir açıklayıcı değişken eklendiğinde SSR'nin düşmesi gerekir" yazıyor. Neden o?

— Eric Xu
kaynak

1

Aslında, bir sonraki değişkenle doğrusal bir ilişki yoksa (0 örnek kısmi korelasyon), SSR aynı kalacaktır. Herhangi bir ilişki varsa, SSR'yi azaltmak için bir sonraki değişken kullanılabilir.

— Glen_b

3

İfade doğru olarak doğru ama tam olarak doğru değil: SSR, mevcut değişkenlerin doğrusal bir kombinasyonu olan herhangi bir değişken eklendikten sonra aynı kalacaktır (düşmeyecektir). Sonuçta, yeni değişkeni göz ardı ederek, eski değişkenle elde ettiğiniz minimum SSR değerini elde edebilirsiniz, böylece yeni bir değişken eklemek işleri daha da kötüleştiremez.

— whuber

Burada benzer bir soruyu cevapladım: stats.stackexchange.com/questions/306267/… . Yararlı bulabilirsiniz.

— Josh

18

Doğrusal bir regresyon modeliniz olduğunu varsayarsak, kolay gösterim için önce bir tane sonra iki değişkeni düşünün. Bu iki takım eş değişkenlik için genelleme yapar. İlk model

ben : y_{ben} = β_{0} + β_{1} x_{1 ben} + ε_{ben}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$ ikinci model

ben ben : y_{ben} = β_{0} + β_{1} x_{1 ben} + β_{2} x_{2 ben} + ε_{ben}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$ Bu, kare artıkların toplamını en aza indirerek çözülür, model için ve küçültmek istediğiniz ikinci model için . Model 1 için doğru tahmincileri bulduğunuzu için aynı değerleri izin vererek modelde aynı kalan toplam kareleri elde edebilirsiniz . Şimdi, için daha iyi bir değer arayarak artık daha düşük bir toplam karesi .

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Özetlemek gerekirse, modeller iç içe yerleştirilmiştir, yani model 1 ile modelleyebileceğimiz her şey model iki ile eşleştirilebilir, model iki model 1'den daha geneldir. her zaman daha iyi bir çözüm bulun.

Bunun istatistiklerle gerçekten ilgisi yoktur, ancak optimizasyon hakkında genel bir gerçektir.

— kjetil b halvorsen
kaynak

1

Bu şekilde düşünmedim, gerçekten yararlı!

— Eric Xu

1

SSR, veriler ve bir tahmin modeli arasındaki tutarsızlığın bir ölçüsüdür.

Başka bir değişkeni dikkate alma seçeneğiniz varsa, bu değişken daha fazla bilgi içeriyorsa, uyum doğal olarak daha sıkı olur, bu da daha düşük bir SSR anlamına gelir.

— Cloud Skywalker
kaynak