Neden verilerin PCA'sı SVD aracılığıyla?

Bu soru ana bileşenleri hesaplamanın etkili bir yoludur.

1. Doğrusal PCA ile ilgili birçok metin, casewise verilerinin tekil değer ayrışımını kullanarak savunur . Veri varsa kendisine, ve değişkenler (kendi değiştirmek istiyor sütun temel bileşenler), yaptığımız SVD: X = U S V ' (. Kare özdeğerler kökleri), tekil değerler ana çapını işgal S , sağ özvektörler V , eksen değişkenlerinin eksen-bileşenlerine ortogonal dönme matrisidir, sol özvektörler U sadece durumlar için V gibidir . Daha sonra bileşen değerlerini C = X V = U S olarak hesaplayabiliriz.$\bf X$$\bf X=USV'$$\bf S$$\bf V$$\bf U$$\bf V$$\bf C=XV=US$.

2. Değişkenlerin PCA'sını yapmanın başka bir yolu, kare matrisin ayrışmasıdır (yani R , değişkenler arasında korelasyonlar veya kovaryanslar vb. Olabilir ). Kare simetrik pozitif yarı kesin matris ile, aynı sonucu verir: dekompozisyon ya da tekil değer ayrışma bozunma-öz edilebilir R = V L V ' diyagonal olarak öz değerleri ile L ve V daha önce tarif edildiği gibi. Bileşen değerleri C = X V olacaktır .$\bf R=X'X$$\bf R$ $\bf R=VLV'$$\bf L$$\bf V$$\bf C=XV$

Şimdi, sorum şu: eğer verileri büyük bir matris ise ve vakaların sayısı (bu genellikle bir durumdur) değişken sayısından çok daha büyükse, o zaman yolun (1) yoldan çok daha yavaş olması beklenir (2), çünkü yol (1) büyük bir matrise oldukça pahalı bir algoritma (SVD gibi) uygular; bizim durumumuzda gerçekten ihtiyaç duymadığımız U matrisini hesaplar ve saklar (değişkenlerin PCA'sı). Eğer öyleyse, o zaman neden bu kadar çok ders kitabı savunuyor ya da sadece tek yoldan bahsediyor gibi görünüyor (1)? Belki de olduğu verimli ve bir şey eksik?$\bf X$$\bf U$

İşte konuyla ilgili benim 2ct

• İlk önce PCA'nın çözelti kullandığını öğrendiğim (2) kemometri dersi veriyordu, fakat sayısal yönelimli değildi ve sayısal dersim sadece bir girişti ve hatırladığım kadarıyla SVD'yi tartışmadı.

• Ben anlamak Holmes: Büyük Ölçekli Matrisler için hızlı SVD doğru, senin fikrin uzun matrislerin bir hesaplama hızlı SVD almak için kullanılmıştır.
  Bu, uygun bir matrisle karşılaşırsa iyi bir SVD uygulamasının dahili olarak (2) takip edebileceği anlamına gelir (daha iyi olasılıklar olup olmadığını bilmiyorum). Bu, yüksek seviyeli bir uygulama için SVD'yi (1) kullanmak ve dahili olarak hangi algoritmayı kullanacağına dikkat etmek için BLAS'a bırakmanın daha iyi olacağı anlamına gelir.

• Hızlı pratik kontrol: OpenBLAS'ın svd'si 5e4 x 100'lük bir matriste svd (X, nu = 0)medyan 3.5 s'yi alırken svd (crossprod (X), nu = 0), 54 ms (R ile denir microbenchmark) alır.
  Tabii ki özdeğerlerinin karesi hızlıdır ve her iki çağrının da sonuçları eşdeğerdir.

  timing  <- microbenchmark (svd (X, nu = 0), svd (crossprod (X), nu = 0), times = 10)
  timing
  # Unit: milliseconds
  #                      expr        min         lq    median         uq        max neval
  #            svd(X, nu = 0) 3383.77710 3422.68455 3507.2597 3542.91083 3724.24130    10
  # svd(crossprod(X), nu = 0)   48.49297   50.16464   53.6881   56.28776   59.21218    10
  

güncelleme: Wu, W'ye bir göz atın ; Massart, D. ve de Jong, S .: Çekirdek PCA geniş veri için algoritmalar. Bölüm I: Teori ve algoritmalar, Chemometrics ve Akıllı Laboratuar Sistemleri, 36, 165 - 172 (1997). DOI: http://dx.doi.org/10.1016/S0169-7439(97)00010-5

Bu yazıda PCA için 4 farklı algoritmanın sayısal ve hesaplamalı özellikleri ele alınmıştır: SVD, öz ayrışma (EVD), NIPALS ve POWER.

Bunlar aşağıdaki gibidir:

computes on      extract all PCs at once       sequential extraction    
X                SVD                           NIPALS    
X'X              EVD                           POWER

Kağıdın bağlam olan geniş ve bunlar üzerinde çalışmak X X ' (çekirdek PCA) - bu konuda sormak biri olarak tam tersi bir durumdur. Bu yüzden, uzun matris davranışı hakkındaki sorunuzu cevaplamak için, "çekirdek" ve "klasik" anlamını değiştirmelisiniz.$\mathbf X^{(30 \times 500)}$$\mathbf{XX'}$

Beklendiği gibi, EVD ve SVD, klasik veya çekirdek algoritmalarının kullanılmasına bağlı olarak yer değiştirir. Bu soru bağlamında bu, birinin ya da diğerinin matrisin şekline bağlı olarak daha iyi olabileceği anlamına gelir.

Fakat “klasik” SVD ve EVD tartışmalarından ayrışmasının PCA'yı hesaplamak için çok olağan bir yol olduğu açıktır . Bununla birlikte, Matlab'ın işlevini kullanmak dışında hangi SVD algoritmasının kullanılacağını belirtmezler .$\mathbf{X'X}$svd ()

    > sessionInfo ()
    R version 3.0.2 (2013-09-25)
    Platform: x86_64-pc-linux-gnu (64-bit)

    locale:
     [1] LC_CTYPE=de_DE.UTF-8       LC_NUMERIC=C               LC_TIME=de_DE.UTF-8        LC_COLLATE=de_DE.UTF-8     LC_MONETARY=de_DE.UTF-8   
     [6] LC_MESSAGES=de_DE.UTF-8    LC_PAPER=de_DE.UTF-8       LC_NAME=C                  LC_ADDRESS=C               LC_TELEPHONE=C            
    [11] LC_MEASUREMENT=de_DE.UTF-8 LC_IDENTIFICATION=C       

    attached base packages:
    [1] stats     graphics  grDevices utils     datasets  methods   base     

    other attached packages:
    [1] microbenchmark_1.3-0

loaded via a namespace (and not attached):
[1] tools_3.0.2

$ dpkg --list libopenblas*
[...]
ii  libopenblas-base              0.1alpha2.2-3                 Optimized BLAS (linear algebra) library based on GotoBLAS2
ii  libopenblas-dev               0.1alpha2.2-3                 Optimized BLAS (linear algebra) library based on GotoBLAS2

SVD daha yavaştır, ancak daha yüksek sayısal doğruluğu nedeniyle tercih edilen yöntem olarak kabul edilir.

Sorunuzda belirtildiği gibi, temel bileşen analizi (PCA), merkezlenmiş veri matrisi SVD'si tarafından gerçekleştirilebilir.$\mathbf X$ ( daha fazla ayrıntı için bu Q&A başlığına bakınız ) veya kovaryans matrisinin öz-ayrışması ile gerçekleştirilebilir.$\frac{1}{n-1}\mathbf X^\top \mathbf X$$\mathbf{XX}^\top$$n\ll p$

İşte MATLAB'ın pca()fonksiyon yardımında yazılanlar :

Temel bileşen pcaanalizini gerçekleştirmek için kullanılan temel bileşen algoritması [...]:

'svd' - Varsayılan. X'in tekil değer ayrışması (SVD).

$n$$p$

Son cümle, burada oynanan kritik öneme sahip hızlı takası vurgulamaktadır.

$1000\times 100$

X = randn([1000 100]);

tic; svd(X); toc         %// Elapsed time is 0.004075 seconds.
tic; svd(X'); toc        %// Elapsed time is 0.011194 seconds.
tic; eig(X'*X); toc      %// Elapsed time is 0.001620 seconds.
tic; eig(X*X'); toc;     %// Elapsed time is 0.126723 seconds.

$n \ll p$$\mathbf{XX}^\top$

$\mathbf X$$X$$XX^⊤$ PCA'daki Math.SE. üzerinde

eps = 1e-5;
X = [1 1 1; eye(3)*eps];
display(['Squared sing. values of X: ' num2str(sort(svd(X),'descend').^2')])
display(['Eigenvalues of X''*X:       ' num2str(sort(eig(X'*X),'descend')')])

obtaining identical results:

Squared sing. values of X: 3       1e-10       1e-10
Eigenvalues of X'*X:       3       1e-10       1e-10

But taking now $\epsilon = 10^{-10}$ we can observe how SVD still performs well but EIG breaks down:

Squared sing. values of X: 3       1e-20       1e-20
Eigenvalues of X'*X:       3           0 -3.3307e-16

What happens here, is that the very computation of covariance matrix squares the condition number of $\mathbf X$, so especially in case when $\mathbf X$ has some nearly collinear columns (i.e. some very small singular values), first computing covariance matrix and then computing its eigendecomposition will result in loss of precision compared to direct SVD.

I should add that one is often happy to ignore this potential [tiny] loss of precision and rather use the faster method.