Her örnek gözlemi doğrusal bir regresyon modelinde tekrarlar ve regresyonu tekrar çalıştırırsam sonuç nasıl etkilenir?

15

N gözlemim var, muhtemelen birden fazla faktör var ve her bir gözlemi iki kez (veya M kez) tekrarlıyorum.

regression linear-model multiple-regression

— Saray Chan
kaynak

13

Kavramsal olarak hiçbir "yeni" bilgi eklemiyorsunuz, ancak bu bilgiyi daha kesin bir şekilde "biliyorsunuz".

Bu nedenle, daha düşük standart hatalarla aynı regresyon katsayıları elde edilir.

Örneğin, Stata'da, genişletme x işlevi her bir gözlemi x kez çoğaltır .

sysuse auto, clear
regress mpg weight length
------------------------------------------------------------------------------
         mpg |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
      weight |  -.0038515    .001586    -2.43   0.018    -.0070138   -.0006891
      length |  -.0795935   .0553577    -1.44   0.155    -.1899736    .0307867
       _cons |   47.88487    6.08787     7.87   0.000       35.746    60.02374
------------------------------------------------------------------------------

expand 5

regress mpg weight length
------------------------------------------------------------------------------
         mpg |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
      weight |  -.0038515   .0006976    -5.52   0.000    -.0052232   -.0024797
      length |  -.0795935   .0243486    -3.27   0.001    -.1274738   -.0317131
       _cons |   47.88487   2.677698    17.88   0.000     42.61932    53.15043
------------------------------------------------------------------------------

Gördüğünüz gibi, önceden önemsiz katsayılar (uzunluk) genişletilmiş modelde istatistiksel olarak anlamlı hale gelir ve bildiklerinizi "bildiğiniz" hassasiyeti temsil eder.

— pmgjones
kaynak

Evet, standart hatalar gerçekten azalır. Bazıları bunun için ağırlıklı doğrusal regresyon önerir .. Bunu düzeltmek için kullandığınız bir yöntem var mı?

— BBDynSys

3

Sıradan lineer regresyon, problemini çözer; burada , yordayıcıların matrisidir ve , yanıttır. Her örnek kez tekrarlanırsa , objektif fonksiyonun en aza indirgenmesi beklenemez ( çarpım faktörü hariç ). Bu nedenle, daha büyük sorun için optimum olan ağırlık vektörü, daha küçük sorun için olanla aynı olacaktır.

w^{*} = {argmin}_{w} | | X w - y | |^{2}

$w^* = \mbox{argmin}_w ||Xw - y||^2$

X

$X$

y

$y$

M

$M$

M

$M$

— Innuo
kaynak

Kabul etti, ancak b istatistik ve standart hatalar N'den NM'ye değişiklik göz önüne alındığında değişmelidir düşünüyorum?

— Palace Chan

OLS gürültünün bağımsız olduğunu varsaydığı için, standart hata farklı olacaktır çünkü serbestlik derecesi sayısı ( orijinal örnek boyutudur ve , tahmin edicilerin sayısıdır) ve kalan vektörün uzunluğu bir faktörü ile artar .

M * N - P

$M*N - P$

N

$N$

P

$P$

M

$M$

— Innuo