Tekil değer ayrıştırma algoritmalarına ilişkin mevcut durum nedir?

Mümkün olduğunca basit bir pakette makul derecede doğrusal cebir yeteneği sağlamak için sadece başlık matris kütüphanesi üzerinde çalışıyorum ve sanatın şu andaki durumunun ne olduğunu araştırmaya çalışıyorum: SVD'nin hesaplanması karmaşık matris.

İki fazlı ayrışma, tekdüze değer hesaplaması ve ardından tek köşeli değer hesaplaması yapıyorum. Şu anda bidiagonalization için hanehalkı yöntemini kullanıyorum (LAPACK'in bunu da kullandığına inanıyorum) ve bunun şu anda aldığı kadar iyi olduğunu düşünüyorum (birisi algoritması bilmiyorsa onun için..). $\mathcal{O}(N^2)$

Tekil değer hesaplaması listemde bir sonraki adımdır ve bunu yapmak için ortak algoritmaların ne olduğuna dair döngüden çıkıyorum. Burada araştırmanın $\mathcal{O}(N)$ karmaşıklığı ile garanti eden ters iterasyon yöntemine doğru ilerlediğini okudum . Bunu veya diğer ilerlemeleri duymak isterim.

linear-algebra matrix svd

— GCT
kaynak

yalnızca başlık matrisi lib'iniz için doc var mı (.h dışında)? Ayrıca lütfen "svd" etiketini ekleyin.

— denis

Yanıtlar:

"Rastgele algoritmalar" son zamanlarda kısmi dosyalar için oldukça popüler hale gelmiştir. Yalnızca başlık uygulaması buradan indirilebilir: http://code.google.com/p/redsvd/

Mevcut yöntemlerin bir incelemesi burada bulunabilir: http://arxiv.org/abs/0909.4061

Tam svds için Hanedan daha iyi yapabilirim emin değilim.

— dranxo
kaynak

Kulağa çok ilginç geliyor, şu anket kağıdına bir göz atmam gerekecek, teşekkürler!

— gct

OP yoğun matrisler için algoritmalarla ilgilenir. Rastgele algoritmaların, eğer çalışırlarsa, o ortamda rekabetçi olduğunu düşünmüyorum.

— Federico Poloni

Bu mesaj o randomize yöntemler yoğun matrisleri üzerinde sadece iyi çalışır belirtilen research.facebook.com/blog/294071574113354/fast-randomized-svd

— dranxo

@dranxo Bu yazı üzerinde hiçbir doğruluk karşılaştırması yoktur ve zamanlama sonuçları çok titiz görünmemektedir. Ayrıca, randomize algoritmalar projeksiyon + küçük ölçekli bir sorunun kesin çözümüne dayanmaktadır. Bu OP'nin sonuçta ortaya çıkan küçük ölçekli problem için zaten bir "standart yöntemin" uygulanmasına ihtiyaç duyacağı anlamına gelir.

— Federico Poloni

Yeterince adil. Biraz kafam karışsa da, neden bu yöntemlerin sadece seyrek matrisler üzerinde çalıştığını düşünmeliyiz. Joel Tropp'un makalesinin özetini: "Yoğun bir giriş matrisi için, rastgele algoritmalar klasik algoritmalar için O (mnk) ile karşılaştırıldığında O (mn log (k)) kayan nokta işlemlerini (flop) gerektirir." arxiv.org/pdf/0909.4061v2.pdf

— dranxo

Burada araştırmanın karmaşıklığı ile garanti eden ters iterasyon yöntemine doğru ilerlediğini okudum . Bunu veya diğer ilerlemeleri duymak isterim. $\mathcal{O}(N)$

(Ayrıntıları yazmak için zamanım olmadığından birkaç yorum yapmak istedim, ancak yorum kutusu için oldukça büyük oldu.)

Dhillon ve Parlett'in MRRR (çok sayıda nispeten sağlam gösterim) algoritması olacağına inanıyorum . Bu, Fernando'nun önceki çalışmasında kök salmış ve bu da Jim Wilkinson'un özdeğer problemleri hakkındaki anıtsal kitabında ortaya çıkan bir problemden esinlenmiştir. Tekil vektörlerinin elde edilmesi için "ters iterasyon" kısmı kavramında köklü Fernando tarafından "bükülmüş çarpanlama" içine faktoring matrislerini kullanırlar, ve ayrışmaları. $\mathbf L\mathbf D\mathbf L^\top$ $\mathbf U\mathbf D\mathbf U^\top$

Öte yandan, algoritmanın "tekil değer" kısmı, Fernando, Parlett , Demmel ve Kahan'ın (ilhamla) önceki çalışmasının doruk noktası olan (kaydırılmış) diferansiyel bölüm farkı (dqd (s)) algoritmasından gelir. Heinz Rutishauser).

Bildiğiniz gibi SVD yöntemleri genellikle tekil değerler bidiagonal matristen alınmadan önce bir bidiagonal ayrışma ile devam eder. Ne yazık ki ön uç bidiagonal ayrıştırma için mevcut en iyi yöntem hakkında çok güncel değil; en son kontrol ettiğimde, olağan yöntem sütun döndürme ile QR ayrışması ile başlamak ve daha sonra nihayetinde bidiagonal ayrışmayı elde etmek için üçgen faktöre uygun şekilde dikgen dönüşümler uygulamaktır.

Ayrıntılardan eksik olduğumu anlıyorum; Kütüphaneme eriştiğimde bu cevabı daha fazla açıklamaya çalışacağım ...

— JM
kaynak

Matris, iki çapraz forma, bir sütun sonra bir satır yapın, çaprazlamayı tekrarlayın: sütunu diyagonale sıfırlamak için eşyalar veya ev sahibi kullanın, ardından satır için süper diyagonalin aynısını yapın.

— adam W

Önceki yorumumu görmezden gel, üç köşegen form düşünüyordum. Üzgünüm. İki köşegenleştirme benzerlik açısından önemsiz değildir (aslında özdeğerleri açığa çıkarır), ancak referansınız benzerlik yapmaz, başka bir şey yapar; sol ve sağ farklı dik matrislerle çarpılır. , ve ile çift çaprazlıdır, bu ilk önce QR ile söylediğiniz gibi yapılabilir, ancak bir yorumda kolayca açıklanmaz. Cevabı daha fazla açıklarsanız ilgilenebilirim (ancak şu anda çalışmalarımın bu yöne gittiği için de anlayabilirim).

U A V

$UAV$

U U^{⊤} = I

$UU^\top=I$

V V^{⊤} = I

$VV^\top=I$

— adam W

PROPACK ve nu-TRLan kütüphaneleri var.

http://soi.stanford.edu/~rmunk/PROPACK/

http://crd-legacy.lbl.gov/~kewu/trlan/

— güç
kaynak

Burada poster kütüphanelerden ziyade algoritmalar istiyor; bunun yerine bu kütüphanelerde kullanılan algoritmalar, hesaplama karmaşıklıkları ve neden bu kütüphanelerin son teknoloji ürünü olduklarından bahsedebilir misiniz?

— Geoff Oxberry