Açıklayıcı değişkenlerin sırası, regresyon katsayılarını hesaplarken önemli mi?

İlk başta siparişin önemli olmadığını düşündüm, ama sonra çoklu regresyon katsayılarını hesaplamak için gram-schmidt ortogonalizasyon sürecini okudum ve şimdi ikinci düşüncelerim var.

Gram-schmidt işlemine göre, daha sonra açıklayıcı bir değişken diğer değişkenler arasında endekslenir, artık değişken vektörü küçülür, çünkü önceki değişkenlerin artık vektörleri ondan çıkarılır. Sonuç olarak, açıklayıcı değişkenin regresyon katsayısı da daha küçüktür.

Eğer bu doğruysa, söz konusu değişkenin kalıntı vektörü daha önce indekslenmiş olsaydı daha büyük olurdu, çünkü daha az kalıntı vektör ondan çıkarılacaktı. Bu, regresyon katsayısının da daha büyük olacağı anlamına gelir.

Tamam, bu yüzden sorumu açıklığa kavuşturmam istendi. Bu yüzden ilk başta kafamı karıştıran metnin ekran görüntülerini gönderdim. Tamam, işte geliyor.

Anladığım kadarıyla regresyon katsayılarını hesaplamak için en az iki seçenek var. İlk seçenek aşağıdaki ekran görüntüsünde (3,6) belirtilmiştir.

İşte ikinci seçenek (Birden çok ekran görüntüsü kullanmak zorunda kaldım).

Bir şeyi yanlış okumadığım sürece (ki bu kesinlikle mümkün), ikinci seçeneğin sırası önemli görünüyor. İlk seçenekte fark eder mi? Neden ya da neden olmasın? Yoksa referans çerçevem ​​o kadar berbat bir durum ki bu geçerli bir soru bile değil mi? Ayrıca, tüm bunlar bir şekilde Tip I Toplam Kareler - Tip II Toplam Kareler?

Şimdiden çok teşekkürler, kafam çok karıştı!

Kargaşanın biraz daha basit bir şeyden kaynaklanabileceğine inanıyorum, ancak bazı ilgili konuları gözden geçirmek için iyi bir fırsat sunuyor.

Metin olduğunu Not değil iddia tüm regresyon katsayılarının P olan i olarak ardışık kalıntılar vektörler aracılığıyla hesaplanabilir β i ? = ⟨ Y , z i ⟩$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$ Ama sadece ziyade oson bir, β p , bu şekilde hesaplanabilir!

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

Ardışık ortogonalizasyon düzeni (Gram-Schmidt bir formu) (neredeyse) matrisler çiftini üreten ve G olacak şekilde X = Z $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$ Burada Z, bir n x P dik sütunları ile G = ( g i j ) bir p x s üst üçgen. "Neredeyse" diyorum, çünkü algoritma Z'yi sadecesütunların normlarına kadarbelirten, genel olarak bir olmayacak, ancak sütunların normalleştirilmesi ve koordinat matrisine karşılık gelen basit bir ayar yapılmasıyla birim normuna sahip olabileceği içindiyorum. G .

$$\m X = \Z \G \>,$$ $\Z$$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

Bu, tabii ki, varsayarsak sıralaması vardır p ≤ n , benzersiz en küçük kareler çözelti vektörüdür β bu çözer sistemi X , T x β = X , T $\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

İkame izlenerek ve Z, T , Z = I (yapı ile) elde ederiz G , T G β = G , T , Z , T $\m X = \Z \G$$\Z^T \Z = \m I$ Bu eşdeğerdir

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

Şimdi doğrusal sistemin son sırasına konsantre olun . Son satırda sıfırdan farklı tek elemanı g $\G$ . Yani, o olsun gr p $g_{pp}$G p p = ‖ z olduğunu görmek zor değil (bunu bir anlayış kontrolü olarak doğrulayın!)

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

Genel QR ayrışımları

$\m X$

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$

$\m X$$\hat{\m y}$

Kitaba baktım ve alıştırma 3.4 gibi tüm regresyon katsayılarını bulmak için GS kullanma kavramını anlamakta yararlı olabilir gibi görünüyor. $\beta_j$$\beta_p$

ESL'de Egzersiz 3.4

En küçük kare katsayıların vektörünün, Gram-Schmidt prosedürünün tek bir geçişinden nasıl elde edilebileceğini gösterin. Çözümünüzü QR ayrıştırması açısından temsil edin.$X$

Çözüm

$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

$QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ $\hat \beta_{p-1}$$\beta_j$

Neden denemiyor ve karşılaştırmıyorsunuz? Bir dizi regresyon katsayısı takın, ardından sırayı değiştirin ve tekrar takın ve farklı olup olmadıklarına bakın (olası yuvarlama hatası dışında).

@Mpiktas'ın işaret ettiği gibi, ne yaptığınız tam olarak belli değil.

$B$$(x'x)B=(x'y)$$(x'x)$ matrisinde orijinal verilerle . Bu durumda, katsayılar aynı olmalıdır (olası yuvarlama hatasının dışında).

$x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$$x_2$$y$$x_1$$x_1$$x_2$