Matris ayrışımı ile ilgili temel makaleler

Kısa bir süre önce Skillicorn'un matris ayrışmaları hakkındaki kitabını okudum ve bir lisans izleyicisini hedef aldığı için biraz hayal kırıklığına uğradım. Matris ayrışmaları hakkında (kendim ve başkaları için) temel makalelerden kısa bir kaynakça (anketler, ancak atılım kağıtları) derlemek istiyorum. Aklımda olan şey, SVD / PCA (ve sağlam / seyrek varyantlar) ve NNMF'de bir şey. Hiç öneriniz / öneriniz var mı? Ben cevapları yanlı tutmak için benimkini durduruyorum. Her cevabı 2-3 kağıtla sınırlamak isterim.

Not: Bu iki ayrışmayı veri analizinde en çok kullanılan olarak adlandırıyorum . Elbette sayısal analizde QR, Cholesky, LU ve polar çok önemlidir. Benim sorumun odak noktası bu değil.

SVD ve NMF'nin LU, Cholesky ve QR yerine en çok kullanılan matris dekompozisyonları olduğunu nereden biliyorsunuz ? Benim en sevdiğim 'atılım', garantili rütbe gösteren QR algoritması olmalı,

• Chan, Tony F. "QR faktörizasyonlarını gösteren sıralama". Lineer Cebir ve Uygulamaları Cilt 88-89, Nisan 1987, Sayfa 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... önceki QR fikrinin sütun döndürme ile geliştirilmesi:

• Businger, Peter; Golub, Gene H. (1965). Hanehalkı dönüşümleri ile doğrusal en küçük kareler çözümleri. Numerische Mathematik Cilt 7, Sayı 3, 269-276, DOI: 10.1007 / BF01436084

A ( ?) Klasik ders kitabı geçerli:

• Golub, Gene H .; Van Kredisi, Charles F. (1996). Matris Hesaplamaları (3. baskı), Johns Hopkins, ISBN 978-0-8018-5414-9 .

(ders kitapları istemediğini biliyorum ama dayanamıyorum)

Düzenleme: Biraz daha googling özetini biraz çapraz porpoises olabileceğini düşündüren bir kağıt bulur. Yukarıdaki metnim 'sayısal doğrusal cebir' (NLA) perspektifinden geliyordu; muhtemelen daha çok 'uygulamalı istatistik / psikometri' (AS / P) bakış açısıyla ilgileniyorsunuz? Belki açıklığa kavuşturabilir misiniz?

• Lawrence Hubert, Jacqueline Meulman ve Willem Heiser. Matris Çarpanlarına Ayırmada İki Amaç: Tarihsel Bir Değerlendirme. SIAM Review Vol. 42, No. 1 (Mar., 2000), sayfa 68-82

NNMF için Lee ve Seung, uygulanması çok basit olan yinelemeli bir algoritmayı tanımlar. Aslında biri Frobenius artık normunu en aza indirmek için diğeri yaklaşık Kullback-Leibler Sapması ve orijinal matrisin sapmasını en aza indirmek için iki benzer algoritma verirler.

• Daniel Lee, H. Sebastian Seung, Negatif Olmayan Matris Çarpanlarına Ayırma Algoritmaları, Sinir Bilgi İşleme Sistemlerindeki Gelişmeler 13: 2000 Konferansı Bildirileri. MIT tuşuna basın. sayfa 556-562.

Belki ilginç bulabilirsiniz

1. [Matris Faktorizasyonları ile Öğrenme] Nathan Srebro'nun doktora tezi,
2. [Büyük Tavsiye Sistemleri İçin Çeşitli Matris Çarpanlara Ayırma Yöntemlerinin İncelenmesi] , Gábor Takács et.al. ve burada açıklanan neredeyse aynı teknik

Son iki bağlantı , İşbirlikçi Filtrelemede seyrek matris çarpanlarının nasıl kullanıldığını gösterir. Ancak, SGD benzeri çarpanlara ayırma algoritmalarının başka bir yerde yararlı olabileceğine inanıyorum (en azından kodlaması son derece kolaydır)

Witten, Tibshirani - Cezalandırılmış matris ayrışımı

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - Rastgele SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

Bu yılki NIPS'te , akışlı bir giriş matrisi üzerinde tek geçişte çalışan dağıtılmış, çok büyük ölçekli SVD hakkında kısa bir makale vardı .

Kağıt daha uygulamaya yöneliktir, ancak gerçek duvar saati zamanları ve her şeyle işleri perspektif haline getirir. Başlangıçtaki tablo da iyi bir anket.