PCA'ya benzer ortogonal olmayan teknik

9

Bir 2B nokta veri kümesine sahip olduğumu ve verilerdeki tüm yerel maksimum varyansların yönlerini tespit etmek istediğimizi varsayalım:

resim açıklamasını buraya girin

PCA bu durumda yardımcı olmaz çünkü dik bir ayrışmadır ve bu nedenle her iki çizgiyi de mavi renkte algılayamaz, bunun yerine çıktısı yeşil çizgilerle gösterilene benzeyebilir.

Lütfen bu amaç için uygun olabilecek herhangi bir tekniği önerin. Teşekkürler.

pca dimensionality-reduction

— Ahmed
kaynak

Örnek veri kümenizi kullanılabilir hale getirebilir misiniz? Senin için bir şey denemek istiyorum. Saygılarımızla, Eric

— Eric Melse

10

Bağımsız Bileşen Analizi size iyi bir çözüm sunabilmelidir. Ölçümlerinizin istatistiksel olarak bağımsız değişkenlerin bir karışımından kaynaklandığı varsayılarak, dikey olmayan bileşenleri (sizin durumunuzda olduğu gibi) ayrıştırabilir.

Orada iyi öğreticiler bol internette vardır ve (örneğin denemek için birkaç serbestçe kullanılabilir uygulamaları sessiz scikit veya MDP ).

ICA ne zaman çalışmaz?

Diğer algoritmalar gibi ICA, türetildiği varsayımlar geçerli olduğunda en uygunudur. somut olarak,

kaynaklar istatistiksel olarak bağımsız
bağımsız bileşenler Gauss olmayan
karıştırma matrisi ters çevrilebilir

ICA, karıştırma matrisi ve bağımsız bileşenlerin bir tahminini döndürür.

Kaynaklarınız Gauss olduğunda ICA bileşenleri bulamaz. İki bağımsız bileşene sahip olduğunuzu düşünün, $x_{1}$ ve $x_{2}$ , hangileri $N(0,I)$ . Sonra,

p (x_{1}, x_{2}) = p (x_{1}) p (x_{2}) = \frac{1}{2 π} tecrübe (- \frac{x_{1}^{2} + x_{2}^{2}}{2}) = \frac{1}{2 π} tecrübe - \frac{| | x | |^{2}}{2}

$p(x_{1}, x_{2}) = p(x_{1})p(x_{2}) = \frac{1}{2\pi}\exp \left( -\frac{x_{1}^{2}+x_{2}^{2}}{2} \right) = \frac{1}{2\pi}\exp -\frac{||\mathbf{x}||^{2}}{2}$

nerede $||.||$ . iki boyutlu vektörün normudur. Dik bir dönüşümle karıştırılırsa (örneğin bir döndürme) $R$ ), sahibiz, $||R\mathbf{x}|| = ||\mathbf{x}||$ yani olasılık dağılımı dönüşün altında değişmez. Dolayısıyla, ICA verilerden karıştırma matrisini bulamaz.

— jpmuc
kaynak

Evet, olmalı ( scikit-learn.org/stable/auto_examples/decomposition/… ), Çok teşekkürler! : D

— Ahmed

1

Daha fazlasını söylerseniz bu gerçekten derin bir cevaba dönüşebilir; özellikle, @ Gottfried'in teklifini (eğik rotasyonlu PCA) teklifinizle (ICA) karşılaştırmaya karar verin - ikisi arasındaki farklar ve eksiklikler nelerdir.

— ttnphns

Bu sorunun kısmen yanıtlandığını görüyorum. ICA'nın uygulanmadığı basit bir örnek ekleyerek düzenlemeye bakın.

— jpmuc

3

Sözde "eğik" durum için PCA benzeri prosedürler vardır. SPSS (ve muhtemelen aynı zamanda ücretsiz yazılım klonunda) gibi stat yazılımında PSPP, eşdeğer olarak "eğik rotasyonlar" olarak adlandırılır ve bunların örnekleri "oblimin", "promax" ve daha fazlası olarak adlandırılır. Bir şeyleri doğru bir şekilde anlarsam, yazılım, eksenleri ortogonal olmayan bir alanın koordinatlarına (örneğin resimde gösterildiği gibi) dikey, öklid uzayındaki koordinatlarını yeniden hesaplayarak faktör yüklemelerini "dikdörtgenleştirmeye" çalışır. çoklu regresyondan bilinen bazı teknikler. Dahası, bunun sadece yinelemeli olarak çalıştığını ve modelin istatistiksel testinde bir veya daha fazla serbestlik derecesi tükettiğini düşünüyorum.

karşılaştırma PCA ve eğik dönüş referans el SPSS eğik dönüşler için (IBM yerinde) hesaplaması için daha formülleri içerir.

[Güncelleme] (Upps, üzgünüm, PSPP'nin eğik tipte "rotasyon" sağlamadığını kontrol ettim)

— Gottfried Helms
kaynak

1

Hmm, üçüncü bir okumadan sonra, sorunuzun eğik dönme gerekçesinden biraz farklı olduğunu görüyorum: veri bulutunuzda, ortalamanın başlangıçta olması / verilerin bile ortalanmadığı bile değil, burada cevabımda ele aldığımdan başka bir şey olabilir. Bu durumda, cevabı daha sonra silebilirim ...

— Gottfried Helms

1

Eğik "rotasyonlar" PCA'nın ardından olduğundan, soruda gösterilen durum türünü "göremezler" ve bu nedenle iki bileşeni tanımlamak için PCA'nın kendisinden daha fazla kabiliyetleri yok gibi görünmektedir.

— whuber

2

Bu konuda fazla deneyimim yok, ama Vidal, Ma ve Sastry'nin Genelleştirilmiş PCA'sı çok benzer bir sorun için yapıldı.

— Noah Stein
kaynak

2

Diğer cevaplar, dikkate alabileceğiniz teknikler hakkında bazı yararlı ipuçları vermiştir, ancak kimse varsayımınızın yanlış olduğuna işaret etmemiştir: şematik resminizde mavi olarak gösterilen çizgiler, varyansın yerel maksimumu DEĞİLDİR.

Görmek için yönündeki varyansın $\mathbf{w}$ tarafından verildi $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ , nerede $\mathbf{\Sigma}$ verinin kovaryans matrisini belirtir. Yerel maksimumu bulmak için bu ifadenin türevini sıfıra koymalıyız. Gibi $\mathbf{w}$ birim uzunluğuyla sınırlı olduğundan, bir terim eklememiz gerekir $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ nerede $\lambda$ bir Lagrange'ın çarpanıdır. Farklılaştırarak, aşağıdaki denklemi elde ederiz:

Σ w - λ w = 0.

$\mathbf{\Sigma}\mathbf{w} - \lambda \mathbf{w} = 0.$

Bunun anlamı şudur ki $\mathbf{w}$ "Kovaryans" matrisinin bir özvektörü, yani ana vektörlerden biri olmalıdır. Başka bir deyişle, PCA size tüm yerel maksimumları verir , başkaları yoktur.

— amip
kaynak

Merhaba, matematikte çok fazla geçmişim yok, yukarıda bahsettiğiniz şeyleri öğrenmek için bana iyi bir kaynak önerebilir misiniz? Teşekkürler.

— Ahmed

@Ahmed: Emin değilim, zaten ne bildiğinize bağlı. Sanırım lineer cebir ve analiz üzerine iyi ders kitaplarına ihtiyacınız olacak. Bu oldukça basit şeyler, herhangi bir iyi ders kitabında ele alınmalıdır.

— amip