Bir regresyon modelinde hata nasıl kavramsallaştırılır?

Bir veri analizi sınıfına katılıyorum ve köklü fikirlerimden bazıları titriyor. Yani, hatanın (epsilon) ve diğer herhangi bir varyansın bir gruba (örnek veya tüm popülasyon) sadece (bu yüzden düşündüm) için geçerli olduğu fikri. Şimdi, regresyon varsayımlarından birinin varyansın "tüm bireyler için aynı" olduğu öğretiliyor. Bu beni bir şekilde şok ediyor. Her zaman X'in sabit olduğu varsayılan tüm değerlerine karşı varyans olduğunu düşündüm.

Bir regresyon yaptığımızda, modelimizin doğru olduğunu varsaydığımızı söyleyen prof ile sohbet ettim. Bence bu zor kısım. Benim için, hata terimi (epsilon) her zaman "bilmediğimiz unsurlar ve sonuç değişkenimizi artırabilecek bazı ölçüm hataları" gibi bir şey anlamına geliyordu. Sınıfın öğretilme biçiminde "diğer şeyler" diye bir şey yoktur; modelimizin doğru ve eksiksiz olduğu varsayılmaktadır. Bu, tüm artık varyasyonların bir ölçüm hatası ürünü olarak düşünülmesi gerektiği anlamına gelir (bu nedenle, bir bireyin 20 kez ölçülmesinin, bir kez 20 kişiyi ölçmekle aynı varyansı üretmesi beklenir).

Bir yerde bir şeylerin yanlış olduğunu hissediyorum, bu konuda uzman görüş istiyorum ... Kavramsal olarak, hata teriminin ne olduğu hakkında yorum yapmak için biraz yer var mı?

Bireylerin elde edilen y değerleri üzerinde etkisi olan yönleri varsa, ya o yönlere ulaşmanın bir yolu vardır (bu durumda, x yordayıcısının bir parçası olmalıdırlar) ya da buna ulaşmanın bir yolu yoktur. bilgi.

Bu bilgiye ulaşmanın bir yolu yoksa ve bireyler için y değerlerini tekrar tekrar ölçmenin bir yolu yoksa, o zaman gerçekten önemli değil. Y'yi tekrar tekrar ölçebilirseniz ve veri kümeniz aslında bazı kişiler için tekrarlanan ölçümler içeriyorsa, istatistik teorisi ölçüm hatalarının / artıklarının bağımsızlığını üstlendiğinden, ellerinizde potansiyel bir sorun vardır.

Örneğin, formun bir modelini yerleştirmeye çalıştığınızı varsayın

,$y=\beta_0+\beta_1 x$

ve her birey için,

,$yind=100+10x+z$

burada z bireye bağlıdır ve normalde ortalama 0 ve standart sapma 10 ile dağıtılır. Bireyin tekrarlanan her ölçümü için,

, $ymeas=100+10x+z+e$

burada normal olarak ortalama 0 ve standart sapma 0.1 ile dağıtılır. $e$

Bunu şu şekilde modellemeye çalışabilirsiniz:

,$y=\beta_0+\beta_1 x+\epsilon$

burada normalde ortalama 0 ve standart sapma ile dağıtılır$\epsilon$

. $\sigma=\sqrt{10^2+0.1^2}=\sqrt{100.01}$

Her birey için yalnızca bir ölçümünüz olduğu sürece, bu iyi olur. Bununla birlikte, aynı kişi için birden fazla ölçümünüz varsa, artıklarınız artık bağımsız olmayacaktır!

$\beta_0=100$$\beta_1=10$$\chi^2$

Bence "hata" en iyi "mevcut bilgilerimiz göz önüne alındığında gözlemlerin öngörülemeyen kısmı" olarak tanımlanır. Nüfus ve örneklem açısından düşünmeye çalışmak, hataların bazı dağıtımlardan çıkarılan "tamamen rastgele" olarak düşünülmesinin yanı sıra kavramsal problemlere de yol açıyor (yine de benim için de öyle). tahmin ve "öngörülebilirlik" açısından düşünmek benim için çok daha mantıklı.

$p(e_{1},\dots,e_{n})$$E(\frac{1}{n}\sum_{i=1}^{n}e_{i}^2)=\sigma^2$$\sigma^2$$\sigma$

$n$

İşte basit doğrusal regresyonu açıklamak için çok yararlı bir bağlantı: http://www.dangoldstein.com/dsn/archives/2006/03/every_wonder_ho.html belki "hata" kavramını kavramaya yardımcı olabilir.

FD

Profesörün bunun formülasyonuna katılmıyorum. Dediğiniz gibi, varyansın her birey için aynı olduğu fikri, hata teriminin sadece ölçüm hatasını temsil ettiğini ima eder. Bu genellikle temel çoklu regresyon modelinin nasıl oluşturulduğu değildir. Ayrıca, dediğin gibi, bir grup için varyans tanımlanır (ister tek tek özneler grubu ister ölçüm grubu olsun). Tekrarlanan önlemleriniz yoksa, bireysel düzeyde geçerli değildir.

Bir modelin tamamlanması gerekir, çünkü hata terimi tahmin edicilerle ilişkili değişkenlerden etkiler içermemelidir. Varsayım, hata teriminin tahmincilerden bağımsız olmasıdır. Bazı korelasyonlu değişken atlanırsa, önyargı katsayıları elde edersiniz (buna atlanan değişken sapma denir ).