Bağımsız bileşen analizi ile faktör analizi arasındaki ilişki nedir?

Bağımsız Bileşen Analizi (ICA) konusunda yeniyim ve yöntem hakkında basit bir anlayışa sahibim. Bana göre ICA, bir istisna dışında Faktör Analizi'ne (FA) benzer: ICA, gözlemlenen rastgele değişkenlerin, Gauss olmayan bağımsız bileşenlerin / faktörlerin doğrusal bir birleşimi olduğunu varsayar; korelasyonlu, gauss bileşenlerinin / faktörlerinin doğrusal bir birleşimidir.

Yukarıdaki doğru mu?

multivariate-analysis factor-analysis ica

— stats_student
kaynak

Bu cevap Başka bir soruya ( PCA iteratif büyük varyans yön bulur; ama en büyük varyans ile bir bütün alt uzay nasıl bulacağını? ) Bakarak değer.

— Piotr Migdal

görüntü tanımını buraya girin

FA, PCA ve ICA, 'üçü' ile ilişkilidir, çünkü bunların üçü, verinin yansıtıldığı temel vektörleri aramaktadır; Temel vektörleri sadece kapsüllenen doğrusal kombinasyonlar olarak düşünün.

Örneğin, veri matrisinizin bir x matris olduğunu varsayalım, yani iki rasgele değişkeniniz var ve bunların her biri için gözleminiz var. Öyleyse bir temel vektörünü bulduğunuzu . (İlk) sinyalini çıkardığınızda, (vektör ), şöyle yapılır: $\mathbf Z$ $2$ $N$ $N$ $\mathbf w = \begin{bmatrix}0.1 \\-4 \end{bmatrix}$ $\mathbf y$

y = w^{T} Z

$\mathbf {y = w^{\mathrm T}Z}$

Bu sadece "Verilerinizin ilk satırına göre 0,1 ile çarpın ve verilerinizin ikinci satırından 4 kez çıkarın" anlamına gelir. O zaman bu değerini verir ; bu, elbette burada insert-kriterleri-maksimize etme özelliğine sahip olan x vektördür. $\mathbf y$ $1$ $N$

Peki bu kriterler nelerdir?

İkinci Derece Kriterler:

PCA'da, verilerinizin varyansını 'en iyi açıklayan' temel vektörleri buluyorsunuz. İlk (yani en üst sıradaki) temel vektör, verilerinizdeki tüm varyansa en uygun olan olacaktır. İkincisinin de bu kriteri vardır, ancak birincisine dikey olmalı, vb. (PCA için bu temel vektörlerin, verilerinizin kovaryans matrisinin özvektörlerinden başka bir şey olmadığı ortaya çıkar).

FA'de, PCA ile PCA arasında fark vardır, çünkü FA üreticidir, PCA değildir. FA'yi 'gürültülü PCA' olarak tanımladığımı, burada 'gürültünün' 'özel faktörler' olarak adlandırıldığını gördüm. Yine de, genel sonuç PCA ve FA'nin ikinci dereceden istatistiklere (kovaryans) ve yukarıdaki hiçbir şeye dayanmadığı yönündedir.

Yüksek Sipariş Kriterleri:

ICA'da yine temel vektörler buluyorsunuz, ancak bu kez sonuç veren temel vektörler istiyorsunuz, öyle ki sonuçta elde edilen vektör, orijinal verinin bağımsız bileşenlerinden biri. Bunu, dördüncü dereceden bir istatistik olan normalize kurtosisin mutlak değerini maksimize ederek yapabilirsiniz. Yani, verilerinizi bazı temel vektörler üzerine yansıtıyor ve sonucun kurtozunu ölçüyorsunuz. Temel vektörünüzü biraz değiştirirsiniz (genellikle gradyan yükselişi ile) ve sonra tekrar kurtozu vb. Ölçün bileşen.

Yukarıdaki üst şema, görselleştirmenize yardımcı olabilir. ICA vektörlerinin verinin eksenlerine nasıl karşılık geldiğini açıkça görebilirsiniz (birbirinden bağımsız olarak), PCA vektörleri varyansın maksimize edildiği yönleri bulmaya çalışır. (Sonuçta olduğu gibi).

Üst şemada PCA vektörleri neredeyse ICA vektörlerine karşılık gelirlerse, bu sadece rastlantısaldır. İşte farklı veri ve karıştırma matrisinde çok farklı oldukları bir başka örnek. ;-)

görüntü tanımını buraya girin

— kafası karışmış
kaynak

Her iki yönteme de aşina olduğunuzu görün. Yetkili bir kişi olarak, bu yöntemlerin kendiliğinden temel vektörlerin ortogonal olduğunu ima edip etmediğini yanıtlayabilir misiniz? Birisi, yaklaşık olarak 45 derecelik açıyla birbirlerine yönelen iki nokta bulutu gibi, birbirleri üzerinde sıfır olmayan bir izdüşümü olan birincil veya bağımsız bileşenleri nasıl keşfedebilir?

— mbaitoff

@mbaitoff ICA, vektörlerin ortogonal bir temelde toplanmasını sağlar, evet. İkincisi, istediğiniz gibi olduğunuzda, birbirleri üzerinde sıfır olmayan bir izdüşümü olan iki sinyal - bu tam olarak ICA'nın geri almaya çalıştığı şeydir. Bu nedenle ICA tarafından bulunan son temel vektörlerin birbirlerine dik olması. O zaman verilerinizi bu iki yeni vektöre yansıtırken, birbirlerine dik olacaklar.

— Spacey

@Tarantula Ne konuştuğum hakkında bir soru sordum: stats.stackexchange.com/questions/6575/… , çizimleri görebilirsiniz, i.stack.imgur.com/U6fWb.png . Ortogonal bir temeli bu iki bulutu nasıl tarif edeceğini anlayamıyorum. Benim için belli başlı salınım yönlerini tanımlayan iki vektörün dikgen olmadığı açıktır.

— mbaitoff

@mbaitoff Verilerinizi iki sensörden aldınız ve onları birbirlerine karşı çiziyorsunuz ve bu iki modu görüyorsunuz, böylece en azından birbirleriyle korele olduklarını biliyorsunuz. O zaman soru şu, orada sahip olduğunuz tüm noktaları bağımsız olarak nasıl yansıtabilirsiniz? (yani, ICA'nın bulduğu gibi dikey bir temelde). ICA'nın sizin için bulduğu şey budur. "Ortogonal bir temeli bu iki bulutu nasıl tarif edeceğini anlayamıyorum" derken ne demek istediğinizi anlamıyorum. Neden olmasın?

— Spacey

@Tarantula Oh, şimdi bunun ne anlama geldiğini anladım! 'Orijinal çizimde iki ortogonal vektör bulma' gibi olduğunu düşündüm, aslında 'orijinal çizimde iki vektör bulma' üzerinde ortogonal (bağımsız) olacak bir projeksiyon olduğu anlamına geliyor.

— mbaitoff

Tam değil. Faktör analizi, ikinci anlarla çalışır ve gerçekten verilerin Gaussian olmasını umar, böylece olasılık oranları ve bunun gibi şeyler normal olmayan durumdan etkilenmez. Öte yandan ICA, bir şey eklediğinizde, CLT nedeniyle normal bir şey elde ettiğiniz ve gerçekten normal olmayan bileşenlerin elde edilebilmesi için verilerin normal olmadığını umduğunu düşünerek motive oluyor. onlar. Normallikten yararlanmak için ICA, girdilerin doğrusal bir kombinasyonunun dördüncü anını maksimize etmeye çalışır:

max_{a : ‖ a ‖ = 1} \frac{1}{n} \sum_{i} [a^{'} (x_{i} - \bar{x})]^{4}

$\max_{{\bf a}: \| {\bf a}\| =1} \frac1n \sum_i \bigl[ {\bf a}'({\bf x}_i-\bar {\bf x})\bigr]^4$

Eğer bir şey varsa, ICA standart bir girdi kombinasyonunun ikinci anını (varyansını) en üst düzeye çıkaran PCA ile karşılaştırılmalıdır.

— StasK
kaynak

güzel ve gevrek cevap

— Subhash C. Davar

Buradaki dördüncü an nedir? PL.EXPLAIN.

— Subhash C. Davar

@ subhashc.davar Dördüncü an kurtozdur - yani verilerin normal dağılıma göre daha ağır veya daha hafif kuyruklu olduğu derece. en.wikipedia.org/wiki/Kurtosis

— javadba