Yüksek boyutlu veriler için en hızlı PCA algoritması

Her biri yaklaşık 10.000 özellik gösteren, yaklaşık 40.000 örnekten oluşan bir veri kümesi üzerinde bir PCA gerçekleştirmek istiyorum.

Matlab princomp işlevini sürekli olarak kullanmak yarım saatten fazla sürüyor ve bu noktada süreci öldürüyorum. 10 dakikadan daha kısa sürede çalışan bir uygulama / algoritma bulmak istiyorum. En hızlı algoritma ne olurdu? Bir i7 çift çekirdekli / 4GB Ram ne kadar sürer?

Her şeyden önce, tüm bileşenleri mi yoksa en önemli bileşenleri mi istediğinizi belirtmelisiniz?

$A \in \mathbb{R}^{N \times M}$$N$$M$

$C \in \mathbb{R}^{M\times M}$$O(NM^2)$$O(M^3)$$O(2M^2)$$\approx 1.5$$A$

$A$$A$

$C$

Sanırım sadece birkaç (ya da birkaç yüz) baskın tekil değer / vektör çiftine ihtiyacınız var. O zaman çok daha hızlı olacak ve çok daha az bellek tüketecek yinelemeli bir yöntem kullanmak en iyisidir.

Matlab'da, bkz.

svds yardım

Cevabımı Çapraz Onaylı'dan kontrol edebilirsiniz . Burada kopyalamak istemedim. Temel olarak, PCA temeli ve katsayılarını hesaplamak için hızlı, rastgele SVD kullanabilirsiniz.

Birkaç özvektörü hesaplamanın yinelemeli bir yolunu temel alan Fast PCA algoritmasını deneyebilirsiniz. Bkz. A.Sharma ve KK Paliwal, Sabit nokta analizi kullanarak hızlı ana bileşen analizi, Örüntü Tanıma Mektupları, 28, 1151-1155, 2007 .