Boyutsallık gözlem sayısından daha büyük olduğunda PCA hala kovaryans matrisinin öz bileşimi yoluyla mı yapılıyor?

Ben bir matris , benim içeren numuneleri boyutlu alan. Şimdi Matlab'da kendi temel bileşen analizimi (PCA) kodlamak istiyorum. Ben küçük düşürmek için ilk. $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

Birinin kodundan, gözlemlerden daha fazla boyuta sahip olduğumuz senaryolarda, artık $X_0$ kovaryans matrisini öz-ayrıştırmadığımızı . Bunun yerine, $\frac{1}{N-1}X_0X_0^T$ . Neden doğru?

Normal kovaryans matrisi, büyüklüğündedir $D\times D$ , her bir eleman bize iki boyut arasındaki kovaryansı söyler. Bana göre, $\frac{1}{N-1}X_0X_0^T$ doğru boyutlarda bile değil! Öyle $N\times N$ matris, bu yüzden bize söylerdi? İki gözlem arasındaki kovaryans ?!

pca

— Sibbs Kumar
kaynak

Sorunuzun cevabı, görevinizi yerine getirmenizden sonra olduğu gibi, sütunların kendi için kovaryans matrisine ihtiyaç duymama durumudur. Bunu sadece bilgisayar edinme yolu olarak istediniz. Sağ? Ancak aynı PCA sonuçları arasında Eigen yoluyla elde edilebilir X'Xve XX'(yanı sıra svd Xve X'). Bir durumda "yüklemeler" olarak adlandırılan, diğerinde "pc skorları" olarak adlandırılacaktır. Her ikisi de sadece koordinatlar ( örneğin bakınız ) ve eksenler olduğundan, "ana boyutlar" aynıdır.

— ttnphns

Eğer öyleyse ve hangisini çürüteceğinizi seçmekte özgürsünüz - daha hızlı / daha verimli olanı çürütmek akıllıca olacaktır. Daha n<paz RAM ve daha XX'küçük boyutlu olduğu için ayrışması daha az zaman aldığında .

— ttnphns

@ttnphns Harika bir açıklama. Şimdi anlıyorum. Ancak, hala özden XX'PC'ye gidiş sorunları var . Bana kısaca nasıl olduğunu gösterebilir misin? PC'ler kovaryans matrisinin sadece özvektörleridir göz önüne alındığında, ben Eigen taşımak denedi XX'kovaryans matrisinin eigen için X'X, ancak başarısız oldu.

— Sibbs Kumar

Gitmek zorundayım. Belki de @amoeba (cebirde benden çok daha çevik olan) veya başka bir okuyucu yakında buraya bakacak ve size yardımcı olacaktır. Şerefe.

— ttnphns

@ttnphns: Bitti :)

— amoeba

Kovaryans matrisi boyutundadır ve $D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

Bahsettiğiniz matris elbette bir kovaryans matrisi değildir; Gram matrisi olarak adlandırılır ve boyutundadır: $N\times N$

G, = \frac{1}{N- - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

Temel bileşen analizi (PCA), bu matrislerin herhangi birinin öz-bileşimi yoluyla gerçekleştirilebilir. Bunlar aynı şeyi hesaplamanın sadece iki farklı yoludur.

Bunu görmenin en kolay ve en yararlı yolu, veri matrisinin tekil değer ayrıştırmasını kullanmaktır . Bunu ve ifadelerine takarak şunu elde ederiz: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N- - 1} V^{⊤} \\ G, & = U \frac{S^{2}}{N- - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Kovaryans matrisinin özvektörleri ana yönlerdir. Bu özvektörler üzerindeki verilerin izdüşümleri temel bileşenlerdir; bu projeksiyonlar tarafından verilmektedir . Birim uzunluğuna göre ölçeklendirilmiş ana bileşenler tarafından verilir . Gördüğünüz gibi, Gram matrisinin özvektörleri tam olarak bu ölçekli ana bileşenlerdir. Ve ve özdeğerleri çakışır. $\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

Görebileceğiniz nedeni o tavsiye eğer Gram matrisi kullanmak daha küçük boyutta olacağı için kovaryans matrisinin kıyasla, ve dolayısıyla daha hızlı bilgi işlem ve daha hızlı eigendecompose olsun. Aslında, boyutsallığınız çok yüksekse, kovaryans matrisini bellekte bile saklamanın bir yolu yoktur, bu nedenle Gram matrisinde çalışmak PCA yapmanın tek yoludur. Ancak yönetilebilir için , olsa bile, kovaryans matrisinin özdeğiştirmesini kullanabilirsiniz . $N<D$ $D$ $D$ $N<D$

Ayrıca bakınız: PCA bağlamında ve özvektörleri arasındaki ilişki $\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— amip
kaynak

Mükemmel cevap! Bir ismi olduğunu bilmiyordum! Çok teşekkürler! Şimdi bunu hesaplamalarımı hızlandırmak için kullanacağımdan eminim.

— Sibbs Kumar

Cevabım, almak istediğiniz şeyin ve belki de olduğunu varsayar . Ayrıca elde etmek istiyorsanız , o zaman yoluyla hesaplayabilir Elindeki sonra . Aslında, boyutsallığınız çok yüksekse, kovaryans matrisini bellekte bile saklamanın bir yolu yoktur , bu nedenle Gram matrisinde çalışmak PCA yapmanın tek yoludur.

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

— amip

Bu cevap, kitaplarda gördüğüm birçok serginin daha net olduğu açıktır. Teşekkürler.

— usεr11852

Tamamen referans amacıyla: Bence IJ Good'un " Bir Matrisin Tekil Ayrışmasının Bazı Uygulamaları " nın 1969 Technometrics makalesi, buna tam olarak ilk atıf yapanlardan biridir.

— usεr11852

@MattWenham Kesinlikle.

— amip