PCA, ICA ve Laplacian eigenmaps

Soru

Laplacian Eigenmaps yöntemiyle çok ilgileniyorum. Şu anda tıbbi veri setlerimde boyut küçültme yapmak için kullanıyorum.

Ancak, yöntemi kullanarak bir sorunla karşılaştım.

Örneğin, bazı verilerim (spektrum sinyalleri) var ve bazı PC'leri (veya IC'leri) almak için PCA (veya ICA) kullanabilirim. Sorun, LE kullanarak orijinal verilerin benzer boyutta küçültülmüş bileşenlerinin nasıl elde edilmesidir?

Laplacian eigenmaps yöntemine göre, genelleştirilmiş özdeğer problemini çözmemiz gerekiyor;

$L y = \lambda D y$

Burada özvektördür. Örneğin ilk 3 özvektörü (3 öz değerine göre çözelti) çizersem, sonuçlar yorumlanamaz.$y$

Bununla birlikte, en iyi 3 PC ve en iyi 3 IC'yi çizdiğimde, sonuçlar her zaman açıkça (görsel olarak) orijinal verileri temsil ediyor gibi görünüyor .$x$

Bunun nedeni, matrisinin ağırlık matrisi (Bitişiklik matrisi ) tarafından tanımlanmış olması ve verisinin üstel bir fonksiyon kullanan oluşturmak için ısı çekirdeği ile donatılmasıdır . Sorum nasıl azaltılabilir bileşenleri almak için ise (değil özvektörler matrisi içinde )?$L$$W$$x$$W$$x$$y$$L$

Veri

Veri setim kısıtlı ve sorunu göstermek kolay değil. Burada ne demek istediğimi ve ne sormak istediğimi göstermek için bir oyuncak problemi yarattım.

Lütfen resme bakın,

İlk olarak, kırmızı eğrilerde (şeklin ilk sütunu) gösterilen bazı sinüs dalgaları A, B, C oluşturuyorum. A, B ve C, 1x1000 vektörde kaydedilmiş 1000 örneğe sahiptir.

İkinci olarak, rastgele oluşturulmuş doğrusal kombinasyonları kullanarak A, B, C kaynaklarını karıştırdım, örneğin, , burada rastgele değerlerdir. Karışık sinyal çok yüksek boyutlu , örneğin , 1517 rastgele seçilmiş yüksek boyutlu . Yeşil eğrilerde (şeklin ikinci sütunu) M sinyalinin sadece ilk üç sırasını gösteriyorum.$M = r_1*A + r_2*B + r_3*C$$r_1, r_2, r_3$$M$$M \in R^{1517\times1000}$

Sonra, boyut küçültme sonuçlarını almak için PCA, ICA ve Laplacian özma haritalarını çalıştırıyorum. Adil bir karşılaştırma yapmak için 3 PC, 3 IC ve 3 LE kullanmayı seçtim (mavi eğriler sırasıyla şeklin 3., 4. ve son sütunu olarak gösterildi).

PCA ve ICA sonuçlarından (şeklin 3., 4. sütunu), sonuçları bazı boyut küçültme olarak yorumlayabildiğimizi görebiliriz, yani ICA sonuçları için karışık sinyali ( PCA sonuçları ile de alabilir miyiz emin değilim ama sonuç benim için oldukça doğru görünüyor).$M = b_1*IC1 + b_2*IC2 + b_3*IC3$$M = a_1*PC1 + a_2*PC2 + a_3*PC3$

Ancak, lütfen LE sonuçlarına bakın, sonuçları zar zor yorumlayabiliyorum (şeklin son sütunu). İndirgenmiş bileşenlerle 'yanlış' bir şey gibi görünüyor. Ayrıca, sonunda son sütunun grafiğinin formülünde özvektör olduğunu belirtmek isterim$y$$L y = \lambda D y$

Daha fazla fikriniz var mı?

Isıtma çekirdeğinde en yakın 12 komşu ve sigma kullanan Şekil 1 0,5'tir:

Isıtma çekirdeğinde 1000'e yakın komşu ve sigma kullanan Şekil 2 0,5'tir:

Kaynak kodu : Gerekli pakete sahip Matlab kodu

Sorunuzun cevabı, orijinal Laplacian Eigenmaps belgesinin alt kısmındaki eşleme ile verilir :

$x_i \rightarrow (f_1(i), \dots, f_m(i))$

Örneğin, en üstteki 2 "bileşen" e noktasının gömülmesi, tarafından verilir; burada ve , sıfır olmayan en küçük iki öz karşılık gelen özvektörlerdir genelleştirilmiş özdeğer probleminden .$x_5$$(f_1(5), f_2(5))$$f_1$$f_2$$L f = \lambda D f$

PCA'dan farklı olarak, örnek dışı bir gömme elde etmek kolay değildir. Başka bir deyişle, hesaplanırken zaten dikkate alınan bir noktanın gömülmesini elde edebilirsiniz , ancak yeni bir nokta ise (kolayca) elde edemezsiniz. İkincisini yapmakla ilgileniyorsanız, bu makaleye bakın .$L$

İşte Prof Trosset'in web sayfasının bağlantısı ve ayrıca her hafta güncellenen http://mypage.iu.edu/~mtrosset/Courses/675/notes.pdf adlı bir kitap yazıyor . Ayrıca Laplacian öz haritaları için R fonksiyonları verilmiştir. Sadece kendiniz deneyin. Belkin'in bu yazısını da düşünebilirsiniz.

Teşekkürler Abhik Profesör Trosset Öğrencisi

PCA-Laplacian eigenmap'lerinden farklı olarak en küçük özdeğerlere karşılık gelen genelleştirilmiş eigen vektörlerini kullanır. Öz vektörü en küçük öz değeri olan (sıfır olabilir) atlar ve sonraki en küçük öz değerlerine karşılık gelen öz vektörleri kullanır. PCA, çekirdek / gram matrisi kullanılarak gömülü bir maksimum varyans korumasıdır. Laplacian Eigenmaps, kombinatoryal grafik laplacian ile ilgili olarak bir minimizasyon problemi olarak daha fazla ortaya konmaktadır (Trosset makalelerine bakınız).