Faktör Analizi, PCA varyansını açıklarken kovaryansı nasıl açıklar?

Piskopos'un "Örüntü Tanıma ve Makine Öğrenmesi" kitabından alıntı, bölüm 12.2.4 "Faktör analizi":

Vurgulanan kısma göre, faktör analizi W matrisindeki değişkenler arasındaki kovaryansı yakalar$W$ . NASIL merak ediyorum ?

İşte nasıl anladım. Ki $x$ görülmektedir $p$ , boyutlu değişken $W$ faktörü yükleme matrisidir ve $z$ faktör skoru vektörüdür. Sonra değerine sahibiz

$$x=\mu+Wz+\epsilon,$$ yani $$\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} \begin{pmatrix} z_1\\ \vdots\\ z_m \end{pmatrix} +\epsilon, \end{align*}$$ ve her bir sütun,$W$bir etken yükleme vektörüdür $$w_i=\begin{pmatrix}w_{i1}\\ \vdots\\ w_{ip}\end{pmatrix}.$$ Yazdığım Burada olduğu gibi,$W$sahiptir$m$vardır anlamı sütunları$m$faktörleri göz altında.

Şimdi burada noktası vurgulanan kısmına göre ise, ben her sütunda loadings düşünmek $w_i$ gözlenen verilerde kovaryansını açıklamak doğru?

Örneğin, birinci yükleme vektörü bir göz izin için, 1 ≤ i , j , k ≤ p ise, ağırlık 1 i = 10 , ağırlık 1 j = 11 ve ağırlık 1 k = 0.1 , o zaman say x i ve x j yüksek korelasyonluyken, x k onlarla ilişkisiz görünüyor , değil mi?$w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

Ve eğer faktör analizi, gözlenen özellikler arasındaki kovaryansı nasıl açıklarsa, PCA'nın kovaryansı da açıkladığını söyleyebilirim, değil mi?

Arasındaki fark temel bileşenler analiz ve faktör analizi çok sayıda ders kitabı ve çok değişkenli tekniklerle ilgili makalelerinde açıklanmıştır. Bu sitede de tam diziyi ve daha yeni olanı ve tek cevapları bulabilirsiniz.

Detaylı hale getirmeyeceğim. Zaten verdik öz cevap ve bir daha uzun bir ve resimlerin bir çift ile olayı aydınlatmak için şimdi istiyoruz.

Grafik gösterimi

Aşağıdaki resim PCA'yı açıklamaktadır . ( PCA'nın Doğrusal regresyon ve Kanonik korelasyonlarla karşılaştırıldığı buradan ödünç alınmıştır . Resim, konu alanındaki değişkenlerin vektör temsilidir ; buradaki 2. paragrafı okumak isteyebileceğinizin ne olduğunu anlamak için.)

$P_1$$P_2$ $X_1$$X_2$$X_1$$X_2$$cov_{12}= |X_1||X_2|r$$r$ vektörleri arasındaki açının kosinüsüne eşittir.

$a$

$P_1$$P_2$$a_{11}^2+a_{21}^2= |P_1|^2$$P_1$

---

$X_1$$X_2$

$F$$P_1$

$P_1$

$F$

$P_1$$F$

$a$$a_{1}^2+a_{2}^2= |F|^2$$F$

$F$$F$$X_1$$F$$X_2$$X_1$$F$$U_1$$X_2$$F$$U_2$$U_1$$U_2$$F$$U$$U_1$$X_1$$U_2$$X_2$$X_1$$X_2$$F$$X_1$$X_2$$cov_{12}>0$$cov_{12}$$a$

$u^2$ $a^2$$F$-boyutlar, topluluklar değişkenler 'mekân üzerine öngörüler ve yükler değişkenler' ve bu projeksiyonlar da mekanı kapsayan faktörler üzerindeki projeksiyonlardır. Faktör analizinde açıklanan varyans, bileşenlerin varyansı açıkladığı değişkenlerin alanından farklı olan ortak faktörlerin alanı içindeki varyanstır. Değişkenlerin alanı, birleştirilmiş alanın göbeğindedir: m ortak + p benzersiz faktörler.

$X_1$$X_2$$X_3$$F_1$$F_2$$X_1$$C_1$$U_1$$X_1$$X_1$$X_2$$X_3$$^1$

$cov_{12} \approx a_1a_2$yükler aracılığıyla bireysel kovaryanslar. PCA modelinde, PCA'nın tanımlanmamış, karışık collinear + orgonal doğal varyansı açıkladığı için öyle değil. Hem tuttuğunuz hem de bıraktığınız güçlü bileşenler, (A) ve (B) parçalarının birleşmesidir; bu nedenle PCA, yükleriyle kovaryansları yalnızca kör ve kaba bir şekilde dokunabilir.

---

Kontrast listesi PCA vs FA

• PCA: değişkenlerin alanında çalışır. FA: değişkenlerin alanını uzatır.
• PCA: olduğu gibi değişkenlik alır. FA: Değişkenliği ortak ve benzersiz parçalara böler.
• PCA: Düzenlenmemiş varyansı, yani kovaryans matrisinin izini açıklar. FA: sadece ortak varyansı açıklar, dolayısıyla (yüklerle geri yükler) korelasyonları / kovaryansları, matrisin diyagonal olmayan elemanlarını açıklar . (PCA, köşegen dışı unsurları da açıklar - fakat geçerken, hazırlıksız olarak - sadece varyanslar bir kovaryans biçiminde paylaşıldığı için.)
• PCA: Bileşenler değişkenlerin teorik olarak doğrusal fonksiyonları, değişkenler teorik olarak bileşenlerin doğrusal fonksiyonlarıdır. FA: değişkenler teorik olarak sadece faktörlerin doğrusal fonksiyonlarıdır.
• PCA: ampirik özetleme yöntemi; Bu muhafaza m bileşenleri. FA: teorik modelleme yöntemi; Bu uyan sabit sayıda m verilerine faktörleri; FA test edilebilir (Onaylayıcı FA).
• PCA: en basit metrik MDS'dir , boyutsallığı azaltmayı ve veri noktaları arasındaki mesafeleri dolaylı olarak mümkün olduğunca korumayı amaçlar. FA: Faktörler, ilişkilendirmelerini sağlayan değişkenlerin arkasındaki temel gizli özelliklerdir; Analiz, verileri yalnızca bu özlere indirmeyi amaçlamaktadır.
• PCA: bileşenlerin dönmesi / yorumlanması - bazen (PCA gizli özellikler modeli kadar gerçekçi değildir). FA: Dönme / faktörlerin yorumlanması - rutin olarak.
• PCA: yalnızca veri azaltma yöntemi. FA: ayrıca tutarlı değişken kümelerini bulmak için bir yöntem (bunun nedeni değişkenlerin bir faktörün ötesinde korelasyon gösterememesidir).
• PCA: Yüklemeler ve puanlar "çıkarılan" bileşenlerin m sayısından bağımsızdır . FA: yükler ve puanlar "çıkarılan" faktörlerin m sayısına bağlıdır .
• PCA: bileşen puanları kesin bileşen değerleridir. FA: faktör puanları gerçek faktör değerlerine yakındır ve çeşitli hesaplama yöntemleri vardır. Faktör puanları değişkenler alanında (bileşenler gibi) ya da gerçek faktörler (faktör yükleri tarafından yapılandırıldığı gibi) bulunmaz.
• PCA: genellikle varsayım yok. FA: zayıf kısmi korelasyonların varsayımı ; bazen çok değişkenli normallik varsayımı; Bazı veri setleri, dönüştürülmedikçe analiz için "kötü" olabilir.
• PCA: isteğe bağlı olmayan algoritma; her zaman başarılı. FA: yinelemeli algoritma (tipik olarak); bazen yakınsaklık problemi; tekillik bir problem olabilir.

---

$^1$ $X_2$$X_3$$U_1$$X_1$$X_1$$X_2$$X_3$$U_1$$X_1$$X_2$$U$$U$

Regresyonda olduğu gibi , katsayılar, kestiriciler üzerinde, bağımlı değişken (ler) in ve tahmin (ler) in koordinatörleridir ( FA'de "Çoklu Regresyon" altındaki resme bakınız ve burada da)Yüklemeler, hem gözlenen değişkenlerin hem de bunların gizli bölümlerinin faktörleri üzerindeki faktörlerdir - topluluklar. Ve tam olarak regresyonda olduğu gibi, bağımlı (ları) yapmadı ve öngörüler birbirlerinin alt uzaylarıydı, - FA'de de aynı durum gözlenen değişkenleri yapmaz ve gizli faktörler birbirinin alt uzayları olur. Bir faktör, bir yordayıcının bağımlı bir tepkiye "yabancı" olmasıyla oldukça değişken bir değişkene "yabancıdır". Fakat PCA'da, başka bir yol var: temel bileşenler, gözlenen değişkenlerden elde edilir ve alanlarıyla sınırlıdır.

Bu nedenle, bir kez daha tekrarlamak için: FA'nin ortak faktörleri, p giriş değişkenlerinin bir alt alanı değildir . Aksine: değişkenler, m + p ( m ortak faktörler + p benzersiz faktörler) birlik hiperuzerinde bir alt uzay oluşturur . Bu perspektiften bakıldığında (yani, kendine özgü faktörler de göz önüne alındığında) , klasik FA'nin klasik PCA gibi bir boyutsal büzülme tekniği olmadığı , ancak bir boyutsallık genişletme tekniği olduğu anlaşılmaktadır . Bununla birlikte, dikkatimizi sadece bu kabartmanın küçük ( m boyutlu ortak) kısmına veririz , çünkü bu kısım sadece korelasyonları açıklar.

"Kovaryansı açıklamak" vs. varyansı açıklamak

Piskopos aslında çok basit bir şey demek. Faktör analizi modelinde (eşd. 12.64) kovaryans matrisi olacak (eq. 12.65)Temelde faktör analizinin yaptığı şey budur : yükler matrisini ve benzersiz bir çaprazlama matrisini bulur; öyle ki, aslında gözlenen kovaryans matrisi mümkün olduğu kadar olabildiğince :Bu çapraz unsurları dikkat edin

$$p(\mathbf x|\mathbf z) = \mathcal N(\mathbf x | \mathbf W \mathbf z + \boldsymbol \mu, \boldsymbol \Psi)$$ $\mathbf x$ $$\mathbf C = \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\boldsymbol \Sigma$$\mathbf C$ $$\boldsymbol \Sigma \approx \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\mathbf C$ , nın köşegen elemanlarına tam olarak eşit olacaktır, çünkü köşegen rekonstrüksiyon hatası sıfır olsun diye daima köşegen matrisi seçebiliriz . Gerçek bir meydan okuma bulmak için daha sonra yüklemeleri iyi tahmin edeceğini köşegen dışı bölümünü ait .$\boldsymbol \Sigma$$\boldsymbol \Psi$$\mathbf W$$\boldsymbol \Sigma$

köşegen olmayan kısmı değişkenler arasındaki kovaryanslardan oluşur; Bu yüzden Bishop'ın faktör yüklerinin kovaryansları yakaladığını iddia etmesi. Burada önemli bit faktör yükleri care kalmamasıdır hiç (diyagonal bireysel sapmalara ).$\boldsymbol \Sigma$$\boldsymbol \Sigma$

Buna karşılık, PCA yüklemeleri , ölçeklendirilen kovaryans matrisinin özvektörleridir. Yalnızca ana bileşenleri seçilirse, o zaman PCA yüklemelerinin tüm kovaryans matrisini yeniden üretmeye çalıştığı anlamına gelir (yalnızca FA olarak diyagonal olmayan kısmı). PCA ve FA arasındaki ana fark budur.$\widetilde {\mathbf W}$$\boldsymbol \Sigma$$m<k$

$$\boldsymbol \Sigma \approx \widetilde{\mathbf W} \widetilde{\mathbf W}^\top,$$

---

Ek yorumlar

@ Ttnphns 'ın cevabındaki (+1) çizimleri seviyorum, ancak iki değişkenli çok özel bir durumla ilgilendiklerini vurgulamak istiyorum. Eğer ele alınan sadece iki değişken varsa, kovaryans matrisi , sadece tek bir köşegen dışı eleman vardır ve bu nedenle% 100 üremek için bir faktör her zaman yeterlidir (PCA iki bileşene ihtiyaç duyacaktır). Bununla birlikte, genel olarak, çok sayıda değişken varsa (örneğin, bir düzine veya daha fazla), ne PCA ne de az sayıda bileşene sahip olan FA, kovaryans matrisini tamamen çoğaltamaz; dahası, genellikle (zorunlu olmasalar da!) benzer sonuçlar üreteceklerdir. Bu iddiayı destekleyen bazı simülasyonlar ve daha fazla açıklama için burada cevabımı görün:$2 \times 2$

• EFA yerine PCA kullanmak için iyi bir neden var mı? Ayrıca, PCA faktör analizi için bir yedek olabilir mi?

Bu yüzden @ ttnphns'ın çizimleri PCA ve FA'nin çok farklı olduğu izlenimini vermesine rağmen, benim düşüncem, çok az değişken olması dışında veya bazı özel durumlarda olduğu gibi olmadığıdır.

Ayrıca bakınız:

• PCA ve FA hangi koşullar altında benzer sonuçlar verir?
• Faktör analizinden ilk faktörü ne kadar maksimize eder?$k$

En sonunda:

Örneğin, birinci yükleme vektör en bakalım için, ise, , ve , daha sonra derdim ve oysa son derece ilişkilidir onlarla ilintisiz görünüyor haksız mıyım? 1 ≤ i , j , k ≤ p w 1 i = 10 w 1 j = 11 w 1 k = 0,1 x i x j x $w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

Bu mutlaka doğru değil. Evet, bu örnekte ve birbiriyle ilişkili olması muhtemeldir, ancak diğer faktörleri unutuyorsunuz. Belki de ikinci faktörün yükleme vektörü , ve için büyük değerlere sahiptir ; Bu onların da iyi korelasyon gösterecekleri anlamına gelir. Bu tür sonuçlar çıkarmak için tüm faktörleri dikkate almanız gerekir.x j w 2 x i x $x_i$$x_j$$w_2$$x_i$$x_k$