PCA çoklu bağlantı altında kararsız mı?

Bir regresyon durumunda, bir dizi yüksek korelasyonlu değişkeniniz varsa, bunun tahmin edilen katsayılardaki dengesizlikten dolayı genellikle "kötü" olduğunu biliyorum (varyans belirleyici sıfıra giderken sonsuzluğa gider).

Sorum şu, “kötülüğün” bir PCA durumunda da devam edip etmeyeceği. Herhangi bir PC için katsayılar / yükler / ağırlıklar / özvektörler kovaryans matrisi tekil hale geldikçe kararsız / keyfi / benzersiz değil mi? Özellikle yalnızca ilk ana bileşenin tutulduğu ve diğerlerinin "gürültü" veya "başka bir şey" veya "önemsiz" olarak görevden alındığı durumla özellikle ilgileniyorum.

Öyle sanmıyorum, çünkü sıfıra ya da sıfıra yakın bir değere sahip birkaç temel bileşenle kalacaksınız.

Bunu görmek kolay, 2 değişkenli basit ekstrem durumda değil - onların mükemmel bir korelasyon olduğunu varsayalım. Ardından, ilk PC kesin doğrusal ilişki olacak ve ikinci PC tüm gözlemler için sıfıra eşit olacak şekilde (yani sıfır sapma) birinci PC'ye perpindik olacaktır. Daha genel olup olmadığını merak ediyorum.

Cevap, daha basit terimlerle bile verilebilir: çoklu regresyon, doğrusal cebir açısından bakıldığında, pca'dan bir adım daha fazladır ve ikinci adımdan itibaren, kararsızlık ortaya çıkar:

Pca ve mult'in ilk adımı. regresyon, -korelasyon matrisinin , üçgensel olan -ve düşük veya yüksek korelasyonlara kayıtsız olan- iki ağır faktör t'ye faktörü olarak görülebilir . (Pca daha sonra (üçgen) tıknaz faktörün pc pozisyonuna dönmesi olarak görülebilir (buna hatırladığım kadarıyla Jacobi dönüşü denir). $R$$L \cdot L^t$

Mult. regresyon prosedürü, uygun olmayan korelasyon matrisinin son satırında olan bağımlı değişkenin sırasını ve sütununu ekleyerek, bu etken faktör tersini uygulamaktır . İnstabilite burada devreye girer: bağımsız değişkenler arasında yüksek korelasyon vardır, o zaman Cholesky faktörü çapraz çok küçük sayısal değerlere dejenere - ve ters çevirmek için o zaman tanıtır yaklaşık sıfır bölme sorunu.$L$
$L$

PCA genellikle bir amaç için bir araçtır; girişlerden birini çoklu regresyona veya küme analizinde kullanmak için yönlendirir. Sanırım sizin durumunuzda, bir PCA'nın sonuçlarını bir gerileme gerçekleştirmek için kullanmaktan bahsediyorsunuz.

Bu durumda, bir PCA'yı gerçekleştirme hedefiniz, çok yönlülükten kurtulmak ve çoklu girdilerde ortogonal girdiler elde etmektir, şaşırtıcı bir şekilde buna Temel Bileşenler Regresyonu denmez. Burada, tüm orijinal girişleriniz dikse olsaydı, o zaman bir PCA yapmak size başka bir dikey giriş seti verirdi. Bu nedenle; Bir PCA yapıyorsanız, girişlerinizin çoklu bağlayıcılığa sahip olduğu varsayılabilir.

$\hat{ \lambda_{i} }$$i^{th}$$\frac{ \hat{ \lambda_{i} } }{p}$

Referanslar

Johnson & Wichern (2001). Uygulamalı Çok Değişkenli İstatistiksel Analiz (6. Baskı). Prentice Salonu.