PCA'da ters kovaryans matrisi ve kovaryans matrisi

PCA'da, ters kovaryans matrisinin temel bileşenlerini seçersek VEYA büyük özdeğerlere karşılık gelen kovaryans matrisinin özvektörlerini düşürürsek bir fark yaratır mı?

Bu, bu yayındaki tartışma ile ilgilidir .

machine-learning pca computational-statistics

— Mustafa Arif
kaynak

Pozitif belirli kovaryans matrisi için duyarlılığının . $\mathbf \Sigma = \mathbf{UDU}'$ $\boldsymbol \Sigma^{-1} = \mathbf {U D}^{-1} \mathbf U'$

Böylece özvektörler aynı kalır, ancak hassasiyetin özdeğerleri, kovaryansın özdeğerlerinin karşılıklılarıdır. Bu, kovaryansın en büyük özdeğerlerinin, hassasiyetin en küçük özdeğerleri olacağı anlamına gelir. Tersine sahip olduğunuzdan, pozitif kesinlik, tüm özdeğerlerin sıfırdan büyük olduğunu garanti eder.

Eğer ilgili özvektörler korumak Dolayısıyla eğer hassas sıradan PCA için bu karşılık en küçük özdeğerler. Zaten karşılıklılık ( ) aldığımız için , dönüştürülen verilerin beyazlatılmasını tamamlamak için sadece hassas özdeğerlerin kare kökü kullanılmalıdır. $k$ $\bf D^{-1}$

— Konjektürler
kaynak

+1 ama bence "Evet, bu bir fark yaratır" cümlenizi OP için kafa karıştırıcı olabilir; Q çok net değil ama ben inv cov matrisinin en büyük özdeğerlerini seçmek ve cov matrisinin en küçük özdeğerlerini (= en büyük olanlarını düşürmek) seçmek arasında bir fark olup olmadığını soruyorlardı. Bu sorunun cevabı eşdeğer olmasıdır. Belki de bu cümleyi basitçe keserseniz, cevap daha net olacaktır.

— amoeba

Teşekkürler, ne demek istediğini anlıyorum ve buna göre düzenledim.

— varsayımlar

Aslında son cümle iyiydi, onu saklardım!

— amoeba

@conjectures Teşekkür ederim, bu mükemmel bir açıklama.

— Mustafa Arif

Ek olarak, ters kovaryans matrisi, vektörler arasındaki kısmi korelasyon ile orantılıdır:

Corr(Xi, Xj | (Xothers )

Diğerleri sabitlendiğinde Xi ve Xj arasındaki korelasyon, zaman serileri için çok yararlıdır.

— quantCode
kaynak

Bu doğru, ama bunun PCA ile ne ilgisi var?

— amoeba