Faktör analizindeki ilk faktörleri en üst düzeye çıkarır?

Ana bileşenler analizinde, ilk ana bileşenleri maksimum varyansa sahip dikey yönlerdir. Başka bir deyişle, birinci ana bileşen maksimum varyansın yönü olarak seçilir, ikinci temel bileşen maksimum varyansla birinciye dik olan yön olarak seçilir, vb. $k$ $k$

Faktör Analizi için de benzer bir yorum var mı? Örneğin, ilk faktörlerinin orijinal korelasyon matrisinin diyagonal bileşenlerini en iyi açıklayan faktörler olduğunu düşünüyorum (orijinal korelasyon matrisi ile tanımlanmış korelasyon matrisi arasındaki kare hatası anlamında) faktörler). Bu doğru mu (ya da söyleyebileceğimiz benzer bir şey var mı)? $k$

pca factor-analysis

— raegtin
kaynak

@NRH'nin cevaplarında yazdığı neredeyse her şeye katılıyorum (+1), son sorunuzun kısa cevabı evet, tam olarak doğru . FA faktörlerinde de PCA'da olduğu gibi dik olarak seçilebileceğini unutmayın. Fark sadece korelasyon matrisinin (PCA) çoğaltılmasında ya da sadece diyagonal olmayan kısmının (FA) çoğaltılmasındadır. Uzun bir tartışma için benim yanıtları görmek PCA ve Faktör Analizi benzerlik Şartlar ve PCA yerine EFA kullanmak için herhangi bir iyi bir neden var mı?

— amip: Reinstate Monica

Gerçekten FA "(toplam-) kare kısmi kovaryans en aza indirmek" olup olmadığını emin değilim, çünkü "MinRes" adlı bir rotasyon / çıkarma-kriter olan tam olarak budur. Öyleyse neden farklı bir isim verelim? Belki k faktörlerinin sayısı mükemmel -ama k bir tahmindir beri kovaryanslarından çoğaltmak eğer FA-çözüm matematiksel olarak özdeş sonuçlar elde bulmak için standart-rutinleri, bu olabilir / küçümseme FA-çözüm değil kusur durumunda bu MinRes çözeltisi ile aynıdır. Diyorum ki: olabilir - açık bir ifade görmek istiyorum.

— Gottfried Helms

Yanıtlar:

PCA, esas olarak, verilerin daha düşük boyutlu bir alana projeksiyon elde etmek olduğu bir veri azaltma tekniğidir. İki eşdeğer amaç varyasyonu tekrar tekrar en üst düzeye çıkarmak veya yeniden yapılandırma hatasını en aza indirmektir. Bu aslında bu önceki sorunun yanıtlarında bazı ayrıntılarda ele alınmıştır .

Bunun aksine, faktör analizi bir üretken modeli öncelikle boyutlu veri vektörü söyleyerek olduğu gizli faktörlerin boyutlu vektör, olan ile ve ilintisiz hataların bir vektörüdür. matris matrisidir faktör yükleri . Bu, kovaryans matrisinin olarak özel bir parametreleştirmesi verir. Bu modeldeki sorun, aşırı parametrelendirilmiş olmasıdır. ile değiştirilirse aynı model elde edilir $p$ $X$

X = A S + ϵ

$X = AS + \epsilon$

S

$S$

q

$q$

A

$A$

p \times k

$p \times k$

k < p

$k < p$

ϵ

$\epsilon$

A

$A$

Σ = A A^{T} + D

$\Sigma = AA^T + D$

A

$A$

A R

$AR$ herhangi bir dikey matrisi , bu da faktörlerin kendilerinin benzersiz olmadığı anlamına gelir. Çeşitli önerileri bu sorunu çözmek için var, ama orada değil sen istemek yorumlama tür faktörler veren tek çözüm. Popüler bir seçenek varimax dönüşüdür. Bununla birlikte, kullanılan kriter yalnızca rotasyonu belirler. kapsadığı sütun alanı değişmez ve bu parametrelendirmenin bir parçası olduğundan, bir Gauss modelinde maksimum olasılıkla tahmin etmek için kullanılan herhangi bir yöntemle belirlenir .

k \times k

$k \times k$

R

$R$

A

$A$

Σ

$\Sigma$

Dolayısıyla, soruyu cevaplamak için, seçilen faktörler faktör analizi modeli kullanılarak otomatik olarak verilmez, bu yüzden hiçbir tek yorumu vardır ilk faktörleri. (sütun alanı) değerini tahmin etmek için kullanılan yöntemi ve döndürmeyi seçmek için kullanılan yöntemi belirtmeniz gerekir . (tüm hatalar aynı varyansa sahipse ) sütun alanı için MLE çözümü , tekil değer ayrışmasıyla bulunabilen , önde gelen ana bileşen vektörlerinin kapsadığı alandır . Elbette, bu temel bileşen vektörlerini döndürmemeyi ve faktör olarak raporlamamayı seçmek mümkündür. $k$ $A$ $D = \sigma^2 I$ $A$ $q$

Düzenleme: Nasıl gördüğümü vurgulamak için, faktör analizi modeli rank matris artı çapraz matris olarak kovaryans matris modelidir . Dolayısıyla modelin amacı , kovaryans matrisi üzerinde böyle bir yapıya sahip kovaryansın en iyi şekilde açıklanmasıdır . Yorum, kovaryans matrisindeki böyle bir yapının gözlemlenmemiş bir boyut faktörü ile uyumlu olmasıdır . Ne yazık ki, faktörler benzersiz bir şekilde geri kazanılamaz ve olası faktörler kümesinde nasıl seçilebilecekleri, hiçbir şekilde verinin açıklanması ile ilgili değildir. PCA'da olduğu gibi, veriler önceden standartlaştırılabilir ve böylece korelasyon matrisini bir sıra artı bir çapraz matris olarak açıklamaya çalışan bir modele uyulabilir. $k$ $k$ $k$

— NRH
kaynak

Evet, k faktörlerinin benzersiz bir seçimi olmadığını anlıyorum (çünkü bunları döndürebilir ve aynı modeli elde edebiliriz). Fakat faktör analizi ile seçilen herhangi bir k faktörü seçimi bir tür "korelasyonun maksimum açıklaması" yapıyor mu?

— raegtin

@raegtin, bu bakış açısını açıklamak için cevabı düzenledim, bunun kovaryans matrisinin bir modeli olduğunu. Döndürmelerle elde edilen herhangi bir faktör seçimi, gördüğüm gibi, verilerdeki kovaryansları aynı kovaryans matrisini üretirken açıklamada eşit derecede iyi veya kötüdür.

— NRH

Güncelleme için teşekkürler, bu FA için harika bir açıklama! Peki, "modelle amaç kovaryansı en iyi şekilde açıklamak" dediğinde, k faktörlerinin gerçekten açıklanan kovaryans miktarını en üst düzeye çıkardığını mı kastediyorsun?

— raegtin

@raegtin, evet, modeli kovaryans matrisinin bir modeli olarak görüyorum ve modeli tahmin ettiğinizde, açıklanan kovaryans miktarını en üst düzeye çıkardığınızı söylemek doğru olur.

— NRH

@raegtin ve NRH (+1 btw): Sadece açıklığa kavuşturmak için. "Kovaryans" ile "kovaryans matrisinin köşegen olmayan kısmını" anlarsak, yukarıdaki iki yorum doğrudur.

— amip: Reinstate Monica

@RAEGTIN, doğru düşündüğüne inanıyorum. Ekstraksiyon ve önceki rotasyon sonra, her ardışık faktör birbirini izleyen her bileşen daha az varyans hesapları gibi, gittikçe daha az Kovaryas / korelasyon hesabı yapar: Her iki durumda da, bir yükleme matris sütunları A yıkılmasından sırasına göre hareket içlerindeki kare elemanların (yükler) toplamı. Yükleme korelasyon bw faktörü ve değişkendir; bu nedenle birinci faktörün R matrisinde "toplam" kare r'nin en büyük kısmını açıkladığını söyleyebiliriz , ikinci faktör burada ikinci, vb. Yükler ile korelasyonları tahmin etmede FA ve PCA arasındaki fark aşağıdaki gibidir: FA R'yi geri yüklemek için "kalibre edilmiştir"PCA onu m bileşenleri ile geri yüklemekte kaba iken, sadece m çıkarılan faktörlerle (m faktörleri <p değişkenleri) oldukça ince, - R'yi hatasız geri yüklemek için tüm p bileşenlerine ihtiyaç duyar .

PS Sadece eklemek için. FA'da bir yükleme değeri temiz komünallikten (korelasyondan sorumlu varyansın bir parçası) "oluşur", PCA'da ise bir yükleme değişkenin komünalitesinin ve tekliğinin bir karışımıdır ve bu nedenle değişkenliği alır.

— ttnphns
kaynak