Regresyon katsayılarının tahminleri birbiriyle ilişkili değil mi?

Basit bir gerilemeyi düşünün (normalite kabul edilmez):

$$Y_i = a + b X_i + e_i,$$ nerede $e_i$ kaba $0$ ve standart sapma $\sigma$. En Küçük Kare Tahminleri$a$ ve $b$ ilintisiz?

Bu, tahminler arasında hiçbir ilişkinin (veya çok az) korelasyonunun bulunmasının istenebileceği deneylerin tasarlanmasında önemli bir husustur. $\hat a$ ve $\hat b$. Böyle bir korelasyon eksikliği,$X_i$.

---

Etkilerini analiz etmek $X_i$ tahminlerde, değerler $(1,X_i)$ (bunlar uzunluktaki satır vektörleridir $2$) bir matrise dikey olarak monte edilir $X$, tasarım matrisi, veri sayısı kadar satır ve (açıkça) iki sütun içerir. Karşılık gelen$Y_i$ bir uzun (sütun) vektörüne birleştirilir $y$. Bu anlamda yazma$\beta = (a,b)^\prime$ toplanan katsayılar için model

$$\mathbb{E}(Y) = X \cdot \beta$$

$Y_i$ (genellikle) varyansları sabit olan bağımsız rasgele değişkenler olduğu varsayılır $\sigma^2$ bilinmeyenler için $\sigma \gt 0$. Bağımlı gözlemler$y$ vektör değerli rastgele değişkenin bir gerçekleştirilmesi olarak kabul edilir. $Y$.

OLS çözümü

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

bu matrisin ters olduğu varsayılarak. Böylece, matris çarpımı ve kovaryansın temel özelliklerini kullanarak,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

Matris $\left(X^\prime X\right)^{-1}$ model parametrelerine karşılık gelen yalnızca iki satır ve iki sütuna sahiptir $(a,b)$. Korelasyonu$\hat a$ ile $\hat b$ , diyagonal olmayan elemanlarıyla orantılıdır. $(X^\prime X)^{-1},$ki Cramer Kuralı , iki sütununun nokta çarpımı ile orantılıdır.$X$. Sütunlardan biri tamamen$1$s, diğer sütunlu nokta çarpımı ( $X_i$) toplamlarıdır,

$\hat a$ ve $\hat b$ yalnızca toplam (veya ortalama olarak ortalama) $X_i$ sıfırdır.

Sıkça sağlanır Bu ortagonalite durum recentering$X_i$(ortalamalarını her birinden çıkararak). Bu, tahmini eğimi değiştirmeyecek olsa da$\hat b$, tahmini kesmeyi değiştirir $\hat a$. Bunun önemli olup olmadığı uygulamaya bağlıdır.

---

Bu analiz çoklu regresyon için geçerlidir: tasarım matrisi $p+1$ için sütunlar $p$ bağımsız değişkenler (ek bir sütun $1$s) ve $\beta$ uzunluk vektörü olacak $p+1$, ama aksi takdirde her şey eskisi gibi olur.

Geleneksel dilde, iki sütun $X$nokta çarpımları sıfır olduğunda dik olarak adlandırılır . Ne zaman bir sütun$X$ (sütun söyle $i$) diğer tüm sütunlara diktir, sıradaki tüm köşegen olmayan girişlerin kolayca gösterilebilen cebirsel bir gerçektir $i$ ve sütun $i$ nın-nin $(X^\prime X)^{-1}$ sıfır (yani, $ij$ ve $ji$ herkes için bileşenler $j\ne i$sıfır). Sonuç olarak,

İki çoklu regresyon katsayısı tahmini $\hat\beta_i$ ve $\hat\beta_j$ tasarım matrisinin karşılık gelen sütunlarından herhangi biri (veya her ikisi) diğer tüm sütunlarla dikey olduğunda ilişkisizdir.

Birçok standart deneysel tasarım, sütunları karşılıklı dik yapmak için bağımsız değişkenlerin değerlerinin seçilmesinden oluşur. Bu, ortaya çıkan tahminleri - herhangi bir veri toplanmadan önce! - tahminlerin ilişkisiz olacağını garanti ederek "ayırır". (Yanıtlar Normal dağılımlara sahip olduğunda bu, tahminlerin bağımsız olacağı anlamına gelir ve bu da yorumlarını büyük ölçüde basitleştirir.)