Andrew Ng's Coursera dersinden ve diğer materyallerden PCA okuyorum. Stanford NLP dersinde cs224n'nin ilk ödevinde ve Andrew Ng'un ders videosunda kovaryans matrisinin özvektör ayrışması yerine tekil değer ayrıştırması yapıyorlar ve Ng, SVD'nin özerk kompozisyondan sayısal olarak daha kararlı olduğunu söylüyor.

Anladığım kadarıyla PCA için, (m,n)boyutun kovaryans matrisinden değil, boyut veri matrisinin SVD'sini yapmalıyız (n,n). Ve kovaryans matrisinin özvektör ayrışımı.

Neden veri matrisi değil de kovaryans matrisinin SVD'sini yapıyorlar?

Amip yorumlarda zaten iyi bir cevap verdi, ancak resmi bir tartışma istiyorsanız, işte burada.

Bir matris tekil değer ayrışımı olan sütunları, özvektörleri ve köşegen girişleri olan karekök kendi öz değerleri arasında, örneğin, .A = U Σ V T V A T A Σ σ i i = $A$$A=U\Sigma V^T$$V$$A^TA$$\Sigma$$\sigma_{ii}=\sqrt{\lambda_i(A^TA)}$

Bildiğiniz gibi, temel bileşenler değişkenlerinizin ampirik kovaryans matrisinin özvektörlerinin uzayı üzerindeki ortogonal izdüşümleri . Bileşenlerin varyansı özdeğerleri .λi($\frac{1}{n-1}A^TA$$\lambda_i(\frac{1}{n-1}A^TA)$

Herhangi bir kare matris düşünün , ve bir vektör şekilde . Sonraα ∈ R v B v = λ $B$$\alpha \in \mathbb R$$v$$Bv=\lambda v$

1. $B^kv=\lambda^kv$
2. $\lambda(\alpha B) = \alpha\lambda( B)$

tanımını verelim . SVD ve eigendecomposition hesaplamak verimSSTS=$S=\frac{1}{n-1}A^TA$$S$$S^TS=\frac{1}{(n-1)^2}A^TAA^TA$

1. özvektörleri , ki bu özellik 1'e göreA , T$(A^TA)^TA^TA=A^TAA^TA$$A^TA$
2. karekök eigen değerlerinin sonra tekrar özelliği 2, daha sonra 1, 2 ile olan, .$\frac{1}{(n-1)^2}A^TAA^TA$$\sqrt{\frac{1}{(n-1)^2} \lambda_i(A^TAA^TA)} = \sqrt{\frac{1}{(n-1)^2} \lambda_i^2(A^TA)} = \frac{1}{n-1}\lambda_i(A^TA) = \lambda_i(\frac{1}{n-1}A^TA)$

Voila

Sayısal stabilite ile ilgili olarak, kullanılan alogitimlerin ne olduğunu bulmak gerekir. Buna kalkarsan, bunların numpy tarafından kullanılan LAPACK rutinleri olduğuna inanıyorum:

• numpy.linalg.eig
• numpy.linalg.svd

Güncelleme: İstikrar konusunda, SVD uygulaması bir ayrıştırma ve fethetme yaklaşımı kullanıyor gibi gözüküyor, eigendebilgisi ise basit bir QR algoritması kullanıyor. Kurumumdan bazı SIAM belgelerine erişemiyorum (araştırma kesintilerini azaltıyorum) ancak SVD rutininin daha kararlı olduğu değerlendirmesini destekleyebilecek bir şey buldum.

İçinde

Nakatsukasa, Yuji ve Nicholas J. Higham. "Kararlı ve verimli spektral bölme ve simetrik özdeğer ayrıştırma ve SVD için algoritmalar fethetmek." SIAM Bilimsel Hesaplama Dergisi 35.3 (2013): A1325-A1349.

çeşitli özdeğer algoritmalarının kararlılığını karşılaştırırlar ve bölme-fethetme yaklaşımının (deneylerden birinde numpy ile aynı şeyi kullanırlar!) QR algoritmasından daha stabil görünüyorlar. Bu, D&C yöntemlerinin gerçekten daha istikrarlı olduğu yönündeki iddialarla birlikte Ng'nin seçimini destekliyor.

@amoeba dahil PCA sorulara mükemmel yanıtlar vardı bu bir PCA için SVD ilişkiye. Tam sorunuza cevap vererek üç puan vereceğim:

• matematiksel olarak PCA'yı doğrudan veri matrisinde mi, yoksa kovaryans matrisinde mi hesapladığınız konusunda hiçbir fark yoktur.
• fark tamamen sayısal hassasiyet ve karmaşıklıktan kaynaklanmaktadır. SVD'yi doğrudan veri matrisine uygulamak, kovaryans matrisinden sayısal olarak daha kararlıdır.
• SVD, PCA'yı gerçekleştirmek veya öz değerlerini elde etmek için kovaryans matrisine uygulanabilir, aslında, özdeğer problemlerini çözmede en sevdiğim yöntemdir.

SVD'nin, özellikle makine öğrenmesi için, özdeğerin bozulma işlemlerinden tipik olarak daha istikrarlı olduğu ortaya çıktı. Makine öğreniminde son derece collressear regresörleri kullanmak kolaydır. SVD bu durumlarda daha iyi çalışır.

İşte nokta demo için Python kodu. Son derece collinear bir veri matrisi oluşturdum, kovaryans matrisini aldım ve ikincisinin özdeğerlerini elde etmeye çalıştım. SVD hala çalışıyor, sıradan öz ayrışma bu durumda başarısız oluyor.

import numpy as np
import math
from numpy import linalg as LA

np.random.seed(1)

# create the highly collinear series
T = 1000
X = np.random.rand(T,2)
eps = 1e-11
X[:,1] = X[:,0] + eps*X[:,1]

C = np.cov(np.transpose(X))
print('Cov: ',C)

U, s, V = LA.svd(C)
print('SVDs: ',s)

w, v = LA.eig(C)
print('eigen vals: ',w)

Çıktı:

Cov:  [[ 0.08311516  0.08311516]
 [ 0.08311516  0.08311516]]
SVDs:  [  1.66230312e-01   5.66687522e-18]
eigen vals:  [ 0.          0.16623031]

Güncelleştirme

Federico Poloni'nin yorumuna cevap olarak, işte SVD ve Eig'in yukarıdaki aynı matriksin 1000 rastgele örneğinde stabilite testine sahip kod. Birçok durumda Eig, matrisin tekilliğine yol açacak olan 0 küçük öz değeri gösterir ve SVD burada yapmaz. SVD, sorununuza bağlı olarak önemli olabilecek veya olmayabilir önemli olan küçük bir öz değer tespiti için yaklaşık iki kat daha kesindir.

import numpy as np
import math
from scipy.linalg import toeplitz
from numpy import linalg as LA

np.random.seed(1)

# create the highly collinear series
T = 100
p = 2
eps = 1e-8

m = 1000 # simulations
err = np.ones((m,2)) # accuracy of small eig value
for j in range(m):
    u = np.random.rand(T,p)
    X = np.ones(u.shape)
    X[:,0] = u[:,0]
    for i in range(1,p):
        X[:,i] = eps*u[:,i]+u[:,0]

    C = np.cov(np.transpose(X))

    U, s, V = LA.svd(C)

    w, v = LA.eig(C)

    # true eigen values
    te = eps**2/2 * np.var(u[:,1])*(1-np.corrcoef(u,rowvar=False)[0,1]**2)
    err[j,0] = s[p-1] - te
    err[j,1] = np.amin(w) - te


print('Cov: ',C)
print('SVDs: ',s)
print('eigen vals: ',w)
print('true small eigenvals: ',te)

acc = np.mean(np.abs(err),axis=0)    
print("small eigenval, accuracy SVD, Eig: ",acc[0]/te,acc[1]/te)

Çıktı:

Cov:  [[ 0.09189421  0.09189421]
 [ 0.09189421  0.09189421]]
SVDs:  [ 0.18378843  0.        ]
eigen vals:  [  1.38777878e-17   1.83788428e-01]
true small eigenvals:  4.02633695086e-18
small eigenval, accuracy SVD, Eig:  2.43114702041 3.31970128319

$$x_1=u\\ x_2=u+\varepsilon v$$ $u,v$ $$\begin{pmatrix} \sigma_1^2 & \sigma_1^2 + \varepsilon \rho \sigma_1 \sigma_2\\ \sigma_1^2 + \varepsilon \rho \sigma_1 \sigma_2 & \sigma_1^2 + 2 \varepsilon \rho \sigma_1 \sigma_2 + \varepsilon^2 \sigma_2^2\sigma^2\end{pmatrix}$$ $\sigma_1^2,\sigma_2^2,\rho$

$$\lambda= \frac 1 2 \left(\sigma_2^2 \varepsilon^2 - \sqrt{\sigma_2^4 \varepsilon^4 + 4 \sigma_2^3 \rho \sigma_1 \varepsilon^3 + 8 \sigma_2^2 \rho^2 \sigma_1^2 \varepsilon^2 + 8 \sigma_2 \rho \sigma_1^3 \varepsilon + 4 \sigma_1^4} + 2 \sigma_2 \rho \sigma_1 \varepsilon + 2 \sigma_1^2\right)$$ $\varepsilon$ $$\lambda\approx \sigma_2^2 \varepsilon^2 (1-\rho^2)/2$$

$j=1,\dots,m$$\hat\lambda_j$$e_j=\lambda-\hat\lambda_j$

Python kullanıcıları için, simetrik matrisler için (kovaryans matrisi gibi), numpy.linalg.eighgenel bir işlev yerine işlevi kullanmanın daha iyi olduğunu belirtmek isterim numpy.linalg.eig.

eigheigbilgisayarıma göre (matris boyutundan bağımsız olarak) 9-10 kat daha hızlı ve @ Aksakal'ın doğruluk testine dayanarak daha iyi doğruluğa sahip.

SVD'nin küçük özdeğerlere sahip olduğu doğruluk faydasının gösterilmesi konusunda ikna olmadım. @ Aksakal'ın testi, algoritmaya göre rastgele duruma karşı daha hassas 1-2 büyüklük sırasıdır (tüm hataları tek bir mutlak maksimum değere düşürmek yerine çizmeyi deneyin). Bu, kovaryans matrisindeki küçük hataların, bir öznitelik oluşturma algoritması seçiminden daha doğruluk üzerinde daha büyük bir etkiye sahip olacağı anlamına gelir. Ayrıca, bu PCA ile ilgili ana soru ile ilgili değildir. En küçük parçalar PCA'da yoksayılır.

Sayısal kararlılık konusunda da benzer bir tartışma yapılabilir. PCA için kovaryans matris yöntemini kullanmak zorunda kalırsam, eighbunun yerine onu ayrıştırırım svd. Başarısız olursa (henüz burada gösterilmemiş olan), o zaman daha iyi bir algoritma aramaya başlamadan önce çözmeye çalıştığınız problemi yeniden düşünmeye değer.

$m$$n$$m \gg n$

Kovaryans matrisinin hesaplanması ve bunun üzerine SVD yapılması, aynı sonuç için, bu koşullar altında tam veri matrisi üzerindeki SVD'yi hesaplamaktan çok daha hızlıdır.

Oldukça küçük değerler için bile, performans kazancı binlerce faktördür (milisaniye ile saniye). Matlab kullanarak karşılaştırmak için makinemde birkaç test yaptım:

Bu sadece CPU zamanı, ancak depolama ihtiyaçları, daha fazla olmasa da, önemli. Matlab'da bir milyon matriste milyonlarca SVD denerseniz, varsayılan olarak hata verir, çünkü 7.4TB'lik bir çalışma dizisi boyutuna ihtiyaç duyar.