PCA ve TruncatedSVD'nin scikit-learn uygulamaları arasındaki fark

Temel Bileşen Analizi ile Tekil Değer Ayrışması arasındaki ilişkiyi cebirsel / tam düzeyde anlıyorum. Benim sorum scikit-learn uygulaması hakkında .

Dokümantasyonda: " [TruncatedSVD] PCA'ya çok benzer, ancak her iki yaklaşım arasındaki cebirsel farkı yansıtan örnek vektörler üzerinde bir kovaryans matrisi yerine doğrudan çalışır. " Ancak, daha sonra şöyle der: " Bu tahminci [TruncatedSVD] iki algoritmayı destekler: hızlı rasgele bir SVD çözücü ve ARPACK'i (X * XT) veya (XT * X) üzerinde bir özdeyici olarak kullanan“ saf ”bir algoritma, hangisi daha fazlaysa verimli. ". PCA ile ilgilidiyor ki: "Verileri yansıtmak için Tekil Değer Ayrışımı kullanarak doğrusal boyutsal azalma ...". Ve PCA uygulaması aynı iki algoritmayı (randomize ve ARPACK) çözücülerin yanı sıra başka bir algoritmayı da destekler, LAPACK. Kod bakarak hem PCA hem de TruncatedSVD hem ARPACK ve LAPACK örnek veri X svd yapmak görebilirsiniz, ARPACK seyrek matrisler (svds kullanarak) başa çıkmak mümkün.

Bu nedenle, farklı özellikler ve yöntemlerin yanı sıra, PCA ek olarak LAPACK, PCA ve TruncatedSVD scikit-öğrenim uygulamaları kullanarak tam tekil değer ayrışması da tam olarak aynı algoritma gibi görünebilir. İlk soru: Bu doğru mu?

İkinci soru: LAPACK ve ARPACK scipy.linalg.svd (X) ve scipy.linalg.svds (X) kullanıyor olsalar da, X örnek matrisi olarak, veya X'in tekil değer ayrışmasını veya öz-ayrışmasını hesaplarlar ∗ X T dahili olarak. "Rasgele" çözücünün ürünü hesaplaması gerekmez. (Bu, sayısal kararlılıkla bağlantılıdır, bkz . Verilerin SVD'si yoluyla neden veri PCA? ). Bu doğru mu?$X^T*X$$X*X^T$

İlgili kod: PCA hattı 415. Kesik SD hattı 137.

PCA ve TruncatedSVD scikit-learn uygulamaları tamamen aynı algoritma gibi görünüyor.

Hayır: PCA ortalanmış verilerde (kesilmiş) SVD'dir (özellik başına ortalama çıkarma ile). Veriler zaten ortalanmışsa, bu iki sınıf da aynısını yapar.

Pratikte TruncatedSVD, bellek kullanımını patlatmadan ortalanamayan büyük seyrek veri kümelerinde yararlıdır.

• numpy.linalg.svdve scipy.linalg.svdher ikisi de burada açıklanan LAPACK _GESDD'ye güveniyor: http://www.netlib.org/lapack/lug/node32.html (bölme ve fethetme sürücüsü)

• scipy.sparse.linalg.svdsXT'nin öz değeri ayrışması için ARPACK'e dayanır. X veya X. Arnoldi iterasyon yöntemi ile XT (verilerin şekline bağlı olarak). ARPACK'in HTML kullanıcı kılavuzunda, hesaplama ayrıntılarını gizleyen kırık bir biçimlendirme vardır, ancak Arnoldi yinelemesi wikipedia'da iyi açıklanmıştır: https://en.wikipedia.org/wiki/Arnoldi_iteration

Scipy'de ARPACK tabanlı SVD'nin kodu:

https://github.com/scipy/scipy/blob/master/scipy/sparse/linalg/eigen/arpack/arpack.py#L1642 (kaynak kodda satır değişikliği durumunda "def svds" dizesini arayın ).