Genelleştirilmiş en küçük kareler: regresyon katsayılarından korelasyon katsayılarına mı?

Bir öngörücüye sahip en küçük kareler için:

$y = \beta x + \epsilon$

Eğer ve montajdan önce standart (yani ), o zaman:$x$$y$$\sim N(0,1)$

• $\beta$ , Pearson korelasyon katsayısı ile aynıdır, .$r$
• $\beta$ yansıyan regresyonda aynıdır:$x = \beta y + \epsilon$

Genelleştirilmiş en küçük kareler (GLS) için aynı şey geçerli midir? Yani verilerimi standartlaştırırsam, korelasyon katsayılarını doğrudan regresyon katsayılarından alabilir miyim?

Veri denemesinden, yansıyan GLS farklı katsayılarına yol açar ve ayrıca regresyon katsayılarının korelasyon için beklenen değerlerime uyduğuna inanmıyorum. İnsanlar GLS korelasyon katsayıları teklif biliyorum, bu yüzden onlara nasıl geldiklerini ve dolayısıyla gerçekten ne anlama geldiğini merak ediyorum?$\beta$

Cevap evet, doğrusal regresyon katsayıları, sadece doğru koordinat sistemini kullanırsanız, yordayıcıların yanıtla korelasyonlarıdır .

Ne demek istediğimi görmek için, ve ortalanmış ve standartlaştırılmışsa, her ve arasındaki korelasyonun sadece nokta ürünü . Ayrıca, doğrusal regresyon için en küçük kareler çözümü y x i y x t i$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

Böyle bir durumda (kimlik matrisi)$X^{t} X = I$

$$\beta = X^t y$$

ve korelasyon vektörünü kurtarıyoruz. Belirleyicileri açısından regresyon problemi yeniden yapılandırmak için genellikle çekici bu tatmin , bu ilişki, gerçek hale orijinal öngördürücülerin uygun doğrusal kombinasyonlarını bularak ( veya eşdeğer olarak doğrusal bir koordinat değişimi); bu yeni öngörücülere ana bileşenler denir. ˜ X t ˜ X =$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

Genel olarak, sorunuzun cevabı evet, ancak yalnızca öngörücülerin ilgisi olmadığında . Aksi takdirde, ifade

$$X^t X \beta = X^t y$$

Şekil 1, belirteç-cevap korelasyonlarını iyileştirmek için betaların tahmin edicilerin kendileri arasındaki korelasyonlarla karıştırılması gerektiğini göstermektedir.

Bir yan not olarak, bu aynı zamanda sonucun neden bir değişken doğrusal regresyon için daima doğru olduğunu açıklar. Tahmin vektörü standart hale getirildikten sonra:$x$

$$x_0^t x = \sum_i x_{i} = 0$$

burada , hepsinin kesişim vektörüdür. Böylece (iki sütun) veri matrisi otomatik olarak karşılar ve sonuç bunu takip eder.$x_0$$X$$X^t X = I$