Bir değişkenin bir PCA bileşeniyle (bir biplot / yükleme grafiğinde) uygun ilişkilendirme ölçüsü nedir?

FactoMineRVeri ölçümlerimi gizli değişkenlere indirmek için kullanıyorum .

Beni yorumlamak için yukarıdaki değişken haritası açıktır, ancak değişken Haritaya bakmak değişkenler ve bileşen 1 arasında derneklere geldiğinde karıştı, ddpve covçok yakın haritasındaki bileşenlerle ve ddpAbsbiraz daha fazla uzakta. Ancak, korelasyonların gösterdiği şey bu değildir:

$Dim.1
$Dim.1$quanti
        correlation      p.value
jittAbs   0.9388158 1.166116e-11
rpvi      0.9388158 1.166116e-11
sd        0.9359214 1.912641e-11
ddpAbs    0.9327135 3.224252e-11
rapAbs    0.9327135 3.224252e-11
ppq5      0.9319101 3.660014e-11
ppq5Abs   0.9247266 1.066303e-10
cov       0.9150209 3.865897e-10
npvi      0.8853941 9.005243e-09
ddp       0.8554260 1.002460e-07
rap       0.8554260 1.002460e-07
jitt      0.8181207 1.042053e-06
cov5_x    0.6596751 4.533596e-04
ps13_20  -0.4593369 2.394361e-02
ps5_12   -0.5237125 8.625918e-03

Sonra (örneğin) için sin2yükseklik olan miktar vardır rpvi, ancak bu ölçü ilk bileşene en yakın değişken değildir.

Variables
           Dim.1    ctr   cos2    Dim.2    ctr   cos2  
rpvi    |  0.939  8.126  0.881 |  0.147  1.020  0.022 |
npvi    |  0.885  7.227  0.784 |  0.075  0.267  0.006 |
cov     |  0.915  7.719  0.837 | -0.006  0.001  0.000 |
jittAbs |  0.939  8.126  0.881 |  0.147  1.020  0.022 |
jitt    |  0.818  6.171  0.669 |  0.090  0.380  0.008 |
rapAbs  |  0.933  8.020  0.870 |  0.126  0.746  0.016 |
rap     |  0.855  6.746  0.732 |  0.040  0.076  0.002 |
ppq5Abs |  0.925  7.884  0.855 |  0.091  0.392  0.008 |
ppq5    |  0.932  8.007  0.868 | -0.035  0.057  0.001 |
ddpAbs  |  0.933  8.020  0.870 |  0.126  0.746  0.016 |
ddp     |  0.855  6.746  0.732 |  0.040  0.076  0.002 |
pa      |  0.265  0.646  0.070 | -0.857 34.614  0.735 |
ps5_12  | -0.524  2.529  0.274 |  0.664 20.759  0.441 |
ps13_20 | -0.459  1.945  0.211 |  0.885 36.867  0.783 |
cov5_x  |  0.660  4.012  0.435 |  0.245  2.831  0.060 |
sd      |  0.936  8.076  0.876 |  0.056  0.150  0.003 |

Peki, bir değişken ile ilk bileşen arasındaki ilişki söz konusu olduğunda nelere bakmalıyım?

PCA yükleme faktörünün açıklanması veya Faktör analizi.

Yükleme grafiği değişkenleri ana bileşenler (veya faktörler) alanındaki noktalar olarak gösterir. Değişkenlerin koordinatları genellikle yüklemelerdir. (Yükleme grafiğini, aynı bileşenler alanındaki veri vakalarının karşılık gelen dağılım grafiğiyle düzgün bir şekilde birleştirirseniz, bu biplot olur.)

Bize 3 bir şekilde korelasyon değişkenler, ver , W , U . Biz ortalamak onları ve gerçekleştirmek PCA üç dışında ilk 2 temel bileşenleri ayıklanması: F 1 ve$V$$W$$U$$F_1$ . Aşağıdakiyükleme grafiğiniyapmak içinyüklemelerikoordinatlar olarak kullanıyoruz. Yükler, standartlaştırılmamış özvektörlerin elemanları, yani karşılık gelen bileşen varyansları veya özdeğerleriyle donatılmış özvektörlerdir.$F_2$

Yükleme grafiği resimdeki düzlemdir. Sadece değişkenini ele alalım . Alışkanlıkla bir yükleme arsa üzerinde çizilen ok işaretli budur h ' burada; koordinatları , bir 1 , bir 2 yüklemeleri olan V ile F 1 ve F $V$$h'$$a_1$$a_2$$V$$F_1$$F_2$ , sırasıyla (yani terminolojik "bir değişken parça yükler", bunun tam tersi demek daha doğru bilgi bakınız).

Ok vektörü, bileşen düzlemde, çıkıntıdır h değişken gerçek konumunu olan V tarafından kapsanan alan değişkenler olarak V , W , U . Vektörün kare uzunluğu, s 2 , bir varyans bir bölgesinin V . Süre$h'$$h$$V$$V$$W$$U$$h^2$$\bf^a$$V$ olanbu varyans kısmı açıklanmıştır, iki bileşen ile.$h'^2$

Yükleme, korelasyon, öngörülen korelasyon . Değişkenler, bileşenlerin önceden ekstraksiyon merkezli edildi çünkü olan Pearson korelasyon arasında V ve bileşen F 1 . İle bu karıştırılmamalıdır çünkü a bir miktar yükleme arsa üzerinde: komponent arasındaki Pearson korelasyon olduğu F 1 ve burada vektörel değişken h ' . Değişken olarak,$\cos \phi$$V$$F_1$$\cos \alpha$$F_1$$h'$ , V'nin lineer regresyondaki (standartlaştırılmış) bileşenler tarafından tahminidir (lineer regresyon geometrisininçizimiyle karşılaştırın)$h'$$V$) Yükler 'nın regresyon katsayıları olduğu durumlarda (bileşenler çıkarıldığı gibi dik tutulduğunda).$a$

Daha ileri. Biz (trigonometri) olduğunu hatırlarsınız . Vektör V ile birim uzunluk vektörü F 1 : h ⋅ 1 ⋅ cos ϕ arasındaki skaler ürün olarak anlaşılabilir . F 1 hiçbir kendi çünkü bu birim varyans vektör ayarlanmış kendi bu varyans ayrı varyans V bu açıklar (miktar ile h ' ie:) F $a_1 = h \cdot \cos \phi$$V$$F_1$$h \cdot 1 \cdot \cos \phi$$F_1$$V$$h'$$F_1$dışarıdan davet edilen bir varlık değil, V, W, U'dan çıkarılır. Sonra, açıkça, ,Vilestandart, birim ölçeklibarasındakikovaryanstır($a_1 = \sqrt{var_{V} \cdot var_{F_1}} \cdot r = h \cdot 1 \cdot \cos \phi$$V$$\bf^b$) bileşenF1. Bu kovaryans, giriş değişkenleri arasındaki kovaryanslarla doğrudan karşılaştırılabilir; örneğin,VveWarasındaki kovaryans, vektör uzunluklarının aralarındaki kosinüs ile çarpımı sonucu olacaktır.$s_1=\sqrt{var_{F_1}}=1$$F_1$$V$$W$

Özetle: yükleme standart bileşen ve gözlenen değişken arasında, kovaryans olarak görülebilir h ⋅ 1 ⋅ cos φ bölgesinin veya eşdeğer (arsa tanımlayan tüm bileşenleri tarafından) açıklandığı standart bileşen arasındaki görüntü değişken, h ′ ⋅ 1 ⋅ cos α . Bu cos α , F1-F2 bileşeni alt uzayına yansıtılan V-F1 korelasyonu olarak adlandırılabilir .$a_1$$h \cdot 1 \cdot \cos \phi$$h' \cdot 1 \cdot \cos \alpha$$\cos \alpha$

Bir değişken ile bir bileşen arasındaki yukarıda belirtilen korelasyon, olarak da standartlaştırılmış veya yeniden ölçeklendirilmiş yükleme olarak adlandırılır . [-1,1] aralığında olduğu için bileşenlerin yorumlanmasında kullanışlıdır.$\cos \phi = a_1/h$

Özvektörlerle ilişki . Yeniden olçeklendirilmiş yükleme gerekir değil ile karıştırılmamalıdır özvektör bildiğimiz - - elemanı olan bir değişken ile bir ana bileşen arasındaki açının kosinüs. Yüklemenin, bileşenin tekil değeri (özdeğer değerinin karekökü) ile ölçeklendirilmiş özvektör elemanı olduğunu hatırlayın . Yani grafiğimizin V değişkeni için : a 1 = e 1 s 1 , burada s 1 st'dir. F 1'in sapması ( 1 değil orijinal, yani tekil değer)$\cos \phi$$V$$a_1= e_1s_1$$s_1$$1$$F_1$Gizli değişken. Sonra özvektör elemanı ,cosϕ'ninkendisi değil. İki tür "kosinüs" etrafındaki karışıklık, ne tür bir alan temsilinde olduğumuzu hatırladığımızda çözülür. Özvektör değeri,bir değişkenin eksen olarak pr'yedönme açısınınkosinüsüdür. bileşen gibi değişken uzayda eksenolarak (buradadağılım grafiği görünümü). iken$e_1= \frac{a_1}{s_1}=\frac{h}{s_1}\cos \phi$$\cos \phi$ bizim yükleme arsa üzerindekosinüs benzerliği ölçüsüdürvektör ve bir pr olarak bir değişken arasına. Bileşen olarak ... iyi .. vektör olarak da, isterseniz (arsa üzerinde eksen olarak çizilmesine rağmen), - çünkü şu anda$\cos \phi$ konu alanındayız İlişkili değişkenlerin vektörlerin hayranları olduğu (dikey eksenler değil) ve vektör açıları, birleşim ölçüsüdür - uzay tabanı dönüşü değildir.

Yükleme, bir değişken ile birim ölçekli bir bileşen arasındaki açısal (yani skaler ürün tipi) ilişkilendirme ölçüsüdür ve yeniden ölçeklendirilmiş yükleme, değişkenin ölçeğinin birime indirildiği standartlaştırılmış yüklemedir, ancak özvektör katsayısı, bileşen "standartların altında", yani ölçeğine getirildi (1 yerine); alternatif olarak, değişkenin ölçeğinin h / s'ye getirildiği ölçeklendirilmiş bir yükleme olarak düşünülebilir.$1/s$$h/s$ (1 yerine) .

Peki, bir değişken ve bir bileşen arasındaki ilişkiler nelerdir? Ne istediğinizi seçebilirsiniz. Yükleme olabilir (birim ölçekli bileşenle kovaryans) ; yeniden olçeklendirilmiş yükleme cos cp (= değişken bileşenli korelasyon); arasındaki korelasyon resim (tahmin) ve bileşen (= korelasyon öngörülen cos a ). Hatta özvektör katsayısı e = a $a$ $\cos \phi$$\cos \alpha$olursa s'yi de seçebilirsiniz (bunun bir nedeni olabileceğini merak ediyorum). Veya kendi tedbirinizi icat edin.$e= a/s$

Özvektör değeri karesi , bir değişkenin pr'ye katkısının anlamıdır. bileşen. Yeniden boyutlandırılmış yükleme karesi , pr'nin katkısı anlamına gelir. bileşenini değişkene dönüştürür.

Korelasyonlara dayalı PCA ile ilişki. PCA tarafından analiz edildiğimizde sadece ortalanmış değil aynı zamanda standartlaştırılmış (ortalanmış sonra birim varyans ölçeklendirilmiş) değişkenler varsa, üç değişken vektörü (düzlemdeki çıkıntıları değil) aynı birim uzunluğunda olacaktır. Daha sonra , bir değişkenin bir bileşen arasında bir yüklemenin kovaryans değil korelasyon olduğunu otomatik olarak takip eder . Ama bu ilişki olmayacak "standardize yükleme" eşit ait çünkü PCA standardize değişkenlerin, (tıpkı merkezli değişkenlerin analizine dayalı) Yukarıdaki resimde (korelasyon tabanlı PCA) sağladığını farklı merkezli değişkenlerin PCA (daha bileşenlerini kovaryans tabanlı PCA). Korelasyon tabanlı PCA ise bir $\cos \phi$ çünkü h = 1 , ancak temel bileşenlerkovaryans tabanlı PCA'dan aldığımızlaaynıtemel bileşenlerdeğildir(okuma,okuma).$a_1= \cos \phi$$h=1$

In faktör analizi , yükleme arsa temelde PCA ile aynı konsept ve yorumunu vardır. Sadece (ama önemli ) farkı maddedir . Faktör analizinde, h ′ - o zaman değişkenin "komünalitesi" olarak adlandırılır - varyansının değişkenler arasındaki korelasyonlardan özel olarak sorumlu ortak faktörler tarafından açıklanan kısmıdır . PCA iken kısmı izah h $h'$$h'$ $h'$brüt "karışım" dır - değişkenler arasında kısmen korelasyon ve kısmen ilgisizliği temsil eder. Faktör analizi ile, resmimizdeki yüklerin düzlemi farklı bir şekilde yönlendirilecektir (aslında, 3d değişkenlerimizin alanından dışarıya çekemeyeceğimiz 4. boyuta kadar uzanacaktır; yükleme düzlemi, 3d uzay tarafından yayılmış ve diğer iki değişken), ve çıkıntı h ' bir uzunlukta ve başka bir açı olacak a . (PCA ve faktör analizi arasındaki teorik fark burada geometrik olarak burada konu alanı gösterimi ve burada değişken alan gösterimi ile açıklanmaktadır.)$V$$h'$$\alpha$

@Antoni Parellada'nın isteğine verilen yanıt. Varyansveyasaçılma(sapma SS)cinsinden konuşmayı tercih edip etmemeniz eşdeğerdir: varyans = dağılım / (n-1), buradanörneklem büyüklüğüdür. Aynınile bir veri kümesi ile uğraştığımız için, sabit formüllerde hiçbir şeyi değiştirmez. EğerX,veri olup kovaryans matrisi (B) dağılım matris eigendecomposition aynı öz (bileşen varyansları) ve özvektörler verir, bunun (A) 'nın daha sonra eigendecomposition (değişkenler V, W, U ortalanmış) X '$\bf^{a,b}$$/(n-1)$$n$$n$$\bf X$$\bf X'X$ilk bölme sonra elde edilen tarafından $\bf X$ faktörü. Bundan sonra, bir yükleme formülde (cevap orta bölümüne bakınız), bir1=H⋅s1⋅cosφterimiholanst. sapma$\sqrt{n-1}$$a_1 = h \cdot s_1 \cdot \cos \phi$$h$ (a) 'da kök dağılım (diğer bir deyişle normu) içinde‖V‖(B)' de. Terims1eşittir1,olduğustandardizeF1bileşenin st. sapma$\sqrt{var_{V}}$$\Vert V \Vert$$s_1$$1$$F_1$ in (A) ancak kök saçılması‖F1‖in (B). Son olarak,cosϕ=r,hesaplamalarından-1kullanımınaduyarsızolan korelasyondur. Böylece, sadecesözdeğerleri kendileri her iki durumda da formül ile aynı kalırken, varyanslar (A) 'nın ya da scatter (B) kavramsal.$\sqrt{var_{F_1}}$$\Vert F_1 \Vert$$\cos \phi = r$$n-1$