Kısmi Tekil Değer Ayrıştırmalarının (SVD) bellek verimli uygulamaları

10

Modelin indirgenmesi için, matrisi olan bir matrisin en büyük tekil değerlerini - say 20 ile ilişkili olan sol tekil vektörleri hesaplamak istiyorum , burada ve . Ne yazık ki, matrisim herhangi bir yapı olmadan yoğun olacak. $A \in \mathbb R^{N,k}$ $N\approx 10^6$ $k\approx 10^3$ $A$

Ben sadece bu boyutta rastgele bir matris için Python modülünden svdrutin çağırırsanız, numpy.linalgbir bellek hatası ile karşılaşıyorum. Bunun nedeni ayrışımı için tahsis edilmesidir . $V\in \mathbb R^{N,N}$ $A = VSU$

Etrafta bu tuzaklardan kaçınan algoritmalar var mı? Örneğin, yalnızca sıfır olmayan tekil değerler ile ayrılmış tekil vektörler oluşturarak.

Hesaplama zamanı ve doğruluğu ile ticaret yapmaya hazırım.

— Ocak
kaynak

1

İlginç, Numpy ince bir SVD yapmayı bilmiyor gibi görünüyor ...

— JM

İpucu için teşekkürler. Gerçekten de, numpy.linalg.svd seçeneği full_matricesyalnızca 'sıfır olmayan' parçaların hesaplanması için False olarak ayarlanmış seçeneğe sahiptir . Yine de, hesaplamayı daha da azaltmanın bir yolu var mı?

— Jan

3

Arka numpyuç, LAPACKE_dgesvdstandart svd için rutin olan fortran kodunu kullanır . Ancak, genellikle matrisiniz C_CONTIGOUS(ile kontrol edin matrix.flags). Bu nedenle verileri fortran hizalaması için kopyalar. Ayrıca, lapack rutin dgesvd'yi çalıştırırken matrisinizin başka bir kopyası (veya en azından bunun için bellek) gereklidir. Bellek hizalamasının en başından itibaren fortran tarzı olduğundan emin olursanız, bir kopyadan kurtulabilirsiniz.

— Bort

6

Sadece birkaç tekil değer / vektör istiyorsanız, ARPACK hile yapmalıdır. SVD dokümanlar büyük değildir ve bu dağıtım güncel fazlasıdır.

EDIT: Bunu python ile yapmak istiyorsanız, SciPy bir sarıcı var . Matrisiniz yoğun olduğundan, blok seyrek satır (BSR) biçimini deneyebilirsiniz .

— Max Hutchinson
kaynak

ARPACK'in python ile nasıl bütünleştiğine bir göz atacağım ...

— Ocak

1

Scipy'nin paketleyicileri var gibi görünüyor. Onları bedene cevaplamak için ekleyeceğim.

— Max Hutchinson

2

Bir göz atın sklearn.decomposition.TruncatedSVD içinde scikit-öğrenme 0.14-rc.
(Scikit-öğrenenlerin stackoverflow.com/questions/tagged/scikit-learn'i takip ettiğine inanıyorum , bu yüzden orada ayrıntılı sorular soracağım.)

(Ne kadar hafızanız var? 10 iki katı zaten 8G.) $^{6+3}$

— denis
kaynak

10^{6} \times 10^{3}

$10^6 \times 10^3$

2

Belki bunu deneyebilirsin.

https://github.com/jakevdp/pypropack

Bu, PROPACK paketi için, büyük seyrek matrislerin ve lineer operatörlerin verimli kısmi tekil değer ayrışımlarını uygulayan bir Python sargısıdır.

— Mass Zhou
kaynak

2

Intel MKL yeni Jacobi-SVD algoritmasını uygular. Uygulama ayrıntıları: http://www.netlib.org/lapack/lawnspdf/lawn169.pdf http://www.fernuni-hagen.de/MATHPHYS/veselic/downloads/j02.pdf

Ve LAPACK rutini: http://software.intel.com/sites/products/documentation/hpc/mkl/mklman/GUID-732F9EE1-BCEC-4D9B-9B93-AF5499B21140.htm#DRMAC08-1

Çalışma boyutu elbette ayarlanabilir. Cython, SWIG veya başka bir sarma mekanizmasını kullanarak Python'dan C işlevlerini kolayca çağırabilirsiniz.

— Tolga Birdal
kaynak