PCA'nın geometrik bir problemden (mesafeli) nasıl lineer cebir problemine (özvektörlerle) dönüştüğü konusunda sezgisel bir açıklama nedir?

Çeşitli öğreticiler ve (gibi soruların dahil PCA hakkında çok şey okudum bu bir , bu bir , bu bir ve bu bir ).

PCA'nın optimize etmeye çalıştığı geometrik problem bana açıktır: PCA, yansıtılan verinin varyansını en üst düzeye çıkaran yeniden yapılandırma (projeksiyon) hatasını en aza indirerek ilk ana bileşeni bulmaya çalışır.

Bunu ilk okuduğumda hemen doğrusal regresyon gibi bir şey düşündüm; belki gerekirse degrade iniş kullanarak çözebilirsiniz.

Ancak, optimizasyon probleminin doğrusal cebir kullanarak ve özvektörler ve özdeğerler bularak çözüldüğünü okuduğumda aklım başıma geldi. Doğrusal cebirin bu kullanımının nasıl ortaya çıktığını anlamıyorum.

Öyleyse sorum şu: PCA geometrik optimizasyon probleminden lineer cebir problemine nasıl dönebilir? Birisi sezgisel bir açıklama yapabilir mi?

Ben böyle bir cevap aramıyorum bu bir diyor "sen PCA matematiksel sorunu çözmek zaman, kovaryans matrisinin özdeğer ve özvektörlerini bulma eşdeğer olmak biter." Lütfen özvektörlerin neden ana bileşen olduğunu ve özdeğerlerin neden kendilerine yansıtılan verinin varyansı olduğunu açıklayın.

Bu arada bir yazılım mühendisiyim, matematikçi değil.

Not: Yukarıdaki şekil bu PCA eğitiminden alınmış ve değiştirilmiştir .

Sorun bildirimi

PCA'nın optimize etmeye çalıştığı geometrik problem bana açıktır: PCA, yansıtılan verinin varyansını en üst düzeye çıkaran yeniden yapılandırma (projeksiyon) hatasını en aza indirerek ilk ana bileşeni bulmaya çalışır.

Doğru. Cevabımdaki bu iki formülasyon arasındaki bağlantıyı burada (matematik olmadan) veya burada (matematikle) açıklarım.

$\mathbf C$$\mathbf w$$\|\mathbf w\|=1$$\mathbf w^\top \mathbf{Cw}$

(Sadece net olmadığı durumda: eğer merkezlenmiş veri matrisi ise, o zaman projeksiyon ve varyansı .)$\mathbf X$$\mathbf{Xw}$$\frac{1}{n-1}(\mathbf{Xw})^\top \cdot \mathbf{Xw} = \mathbf w^\top\cdot (\frac{1}{n-1}\mathbf X^\top\mathbf X)\cdot \mathbf w = \mathbf w^\top \mathbf{Cw}$

Öte yandan, bir özvektör tanımı gereği, herhangi bir vektör öyle ki .$\mathbf C$$\mathbf v$$\mathbf{Cv}=\lambda \mathbf v$

İlk ana yönün en büyük özdeğere sahip özvektör tarafından verildiği ortaya çıktı. Bu önemsiz ve şaşırtıcı bir ifadedir.

Kanıtlar

PCA'da herhangi bir kitap veya öğretici açılırsa, yukarıdaki ifadenin neredeyse tek satırlık bir kanıtı bulunur. ; sınırlaması altında en düzeye çıkarmak istiyoruz ; bu bir Lagrange çarpanı tanıtmak ve değerini en üst düzeye çıkarmakla yapılabilir ; farklılaşarak, özvektör denklemi olan elde ederiz . bu çözümü yerine getiren objektif fonksiyonun yerine geçerek aslında en büyük öz sahip olduğunu görüyoruz.$\mathbf w^\top \mathbf{Cw}$$\|\mathbf w\|=\mathbf w^\top \mathbf w=1$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1)$$\mathbf{Cw}-\lambda\mathbf w=0$$\lambda$$\mathbf w^\top \mathbf{Cw}-\lambda(\mathbf w^\top \mathbf w-1) = \mathbf w^\top \mathbf{Cw} = \lambda\mathbf w^\top \mathbf{w} = \lambda$ . Bu amaç işlevinin en üst düzeye çıkarılması gerçeğinden, en büyük öz değer olan QED olmalıdır.$\lambda$

Bu, çoğu insan için çok sezgisel değildir.

Daha iyi bir kanıt (örneğin , @ cardinal'ın bu temiz cevabına bakınız ), simetrik matris olduğu için özvektör bazında köşegen olduğunu söyler . (Buna aslında spektral teorem denir .) Bu yüzden, dikgen üzerinde köşegen ve özdeğerleri olduğu, özvektörlerin verdiği ortogonal bir temel seçebiliriz . Bu temelde, , basitleştirir veya başka bir deyişle varyans, özdeğerlerin ağırlıklı toplamıyla verilir. Bu ifadeyi en üst düzeye çıkarmak için hemen bir tane yeterlidir,$\mathbf C$$\mathbf C$$\lambda_i$$\mathbf w^\top \mathbf{C w}$$\sum \lambda_i w_i^2$$\mathbf w = (1,0,0,\ldots, 0)$yani, varyansı veren ilk özvektör, yani (aslında, bu çözümden sapma ve daha küçük olanların parçaları için en büyük özdeğerin parçalarını "takas etme" sadece daha küçük toplam sapmaya yol açacaktır). değerinin temele bağlı olmadığını unutmayın! Özvektör tabanının değiştirilmesi bir dönüşe yol açar, bu nedenle 2B'de bir dağılımın basit bir parça kağıdını döndürdüğünü hayal edebilir; Açıkçası bu herhangi bir varyansı değiştiremez.$\lambda_1$$\mathbf w^\top \mathbf{C w}$

Bunun çok sezgisel ve çok kullanışlı bir tartışma olduğunu düşünüyorum, ancak spektral teoremi temel alıyor. Öyleyse buradaki asıl mesele şudur: Spektral teoremin ardındaki sezgi nedir?

Spektral teoremi

Simetrik bir matris . Onun özvektörü al en büyük öz ile . Bu özvektörün ilk temel vektörünü yapın ve diğer temel vektörleri rastgele seçin (öyle ki hepsi ortonormal olur). bu temelde nasıl görünecek ?$\mathbf C$$\mathbf w_1$$\lambda_1$$\mathbf C$

Sol üst köşede olacaktır , çünkü bu temelde ve in değerine eşit olması gerekir .$\lambda_1$$\mathbf w_1=(1,0,0\ldots 0)$$\mathbf {Cw}_1=(C_{11}, C_{21}, \ldots C_{p1})$$\lambda_1\mathbf w_1 = (\lambda_1,0,0 \ldots 0)$

Aynı argüman ile altındaki ilk sütunda sıfırlar olacaktır .$\lambda_1$

Fakat simetrik olduğu için ilk satırda sonrasında da sıfırlar olacaktır . Böylece şöyle görünecek:$\lambda_1$

burada boş alan, orada bazı elementlerin bir bloğu olduğu anlamına gelir. Matris simetrik olduğundan, bu blok da simetrik olacaktır. Böylece, tam olarak aynı argümanı uygulayabiliriz, ikinci özvektörün ikinci temel vektör olarak etkin bir şekilde kullanılması ve köşegen ve . Bu, köşegen olana kadar devam edebilir . Bu esas olarak spektral teoremdir. (Yalnızca simetrik olduğu için nasıl çalıştığını not edin .)$\lambda_1$$\lambda_2$$\mathbf C$$\mathbf C$

İşte tamamen aynı argüman daha soyut bir reform.

Olduğunu biliyoruz , birinci özvektör 1-boyutlu alt uzay tanımlar burada skalar çarpım olarak görev yapar. Şimdi herhangi bir ortogonal vektörünü alalım . Öyleyse, in ortogonal olması neredeyse anında . Aslında:$\mathbf{Cw}_1 = \lambda_1 \mathbf w_1$$\mathbf C$$\mathbf v$$\mathbf w_1$$\mathbf {Cv}$$\mathbf w_1$

Bunun anlamı, , kalan tüm alt ortogonal olarak etki eder, öyle ki den ayrı kalır . Bu simetrik matrislerin en önemli özelliğidir. Böylece en büyük özvektörü burada bulabiliriz, ve aynı şekilde devam ederek özvektörlerin ortonormal bir temelini oluşturabiliriz.$\mathbf C$$\mathbf w_1$$\mathbf w_1$$\mathbf w_2$

1936’dan Eckart ve Young’ın ( https://ccrma.stanford.edu/~dattorro/eckart%26young.1936.pdf ) bir sonucu var;

$\sum_1^r d_k u_k v_k^T = arg min_{\hat{X} \epsilon M(r)} ||X-\hat{X}||_F^2$

buradaki M (r), temelde X'in SVD'sinin ilk r bileşenini ifade eden, en iyi ranklı matris yaklaşımını veren ve en iyi kare Frobenius normu - kare toplamı matrisin elemanları.

Bu matrisler için genel bir sonuçtur ve ilk bakışta veri kümeleriyle veya boyutsallık azaltma ile ilgisi yoktur.

Bununla birlikte, eğer bir matris olarak düşünmüyorsanız, ancak veri noktalarının vektörlerini temsil eden matrisinin sütunlarını düşünürseniz, o zaman kare hata farkları açısından minimum gösterim hatasıyla yaklaşık değerdir.$X$$X$$\hat{X}$

Bu benim PCA'nın arkasındaki lineer cebiri ele almam. Doğrusal cebirde, temel teoremlerden biri . S'nin gerçek katsayılara sahip n-matris ile simetrik olup olmadığını belirtir, o zaman S tüm özdeğerleri gerçek olan n özvektörlerine sahiptir. Bu, D ile, pozitif girişli bir çapraz matris yazabileceğimiz anlamına gelir . Yani ve varsayarak bir zararı yoktur . A, temel matrisin değişmesidir. Yani, eğer asıl , o zaman tarafından verilen temele göre$\textit{Spectral Theorem}$$S = ADA^{-1}$$D = \mbox{diag} (\lambda_1, \lambda_2, \ldots, \lambda_n)$$\lambda_1 \geq \lambda_2 \geq \ldots \geq \lambda_n$$x_1,x_2, \ldots, x_n$$A(x_1), A(x_2), \ldots A(x_n)$S'nin hareketi köşegendir. Bu aynı zamanda, ile ortogonal bir temel olarak görülebileceği anlamına gelir. Kovaryans matrisimiz n değişkeninin n gözlemleri için olsaydı, biz yapılırdık. tarafından sağlanan temel PCA temelidir. Bu doğrusal cebir gerçeklerinden takip eder. Özünde doğrudur, çünkü bir PCA temeli özvektörlerin temelidir ve n boyutunda bir kare matrisinde en çok n özvektörleri vardır. Elbette çoğu veri matrisi kare değildir. X, p değişkenlerinin n gözlemleriyle bir veri matrisi ise, X, n cinsinden p'dir. (değişkenlerden daha fazla gözlem) ve olduğunu kabul edeceğim.$A(x_i)$$||A(x_i)|| = \lambda_i$$A(x_i)$
$n>p$$rk(X) = p$(tüm değişkenler doğrusal olarak bağımsızdır). Her iki varsayım da gerekli değildir, ancak sezgiye yardımcı olacaktır. Doğrusal cebir, tekil değer ayrışması adı verilen Spektral teoremden bir genelliğe sahiptir. Böyle bir X için , U ve V ortonormal (kare) matrisleri n ve p ile ve sadece negatif olmayan gerçek bir köşegen matris olduğunu köşegen üzerindeki girişler. Yine, böylece V temelini yeniden düzenleyebilir matris açısından, bu demektir ise ve ise, . $X = U \Sigma V^{t}$$\Sigma = (s_{ij})$$s_{11} \geq s_{22} \geq \ldots s_{pp}> 0$ ı ≤ p s ı ı = 0 ı > n, v ı Σ V $X(v_i) = s_{ii} u_i$$i \leq p$$s_{ii} = 0$$i> n$$v_i$PCA ayrışmasını verin. Daha doğrusu PCA ayrıştırmasıdır. Neden? Yine, lineer cebir sadece özvektörlerin olabileceğini söylüyor. SVD, ortogonal olan ve azalan normlu yeni değişkenler (V sütunları tarafından verilen) verir. $\Sigma V^{t}$

“Bu aynı anda öngörülen verinin varyansını en üst düzeye çıkarır.” Rayleigh bölümünü duydun mu? Belki de bunu görmenin bir yolu budur. Yani kovaryans matrisinin rayleigh bölümü, yansıtılan verinin varyansını verir. (ve wiki sayfası özvektörlerin neden Rayleigh oranını maksimize ettiğini açıklar)

@ amoeba düzgün bir şekilde biçimlendirmeyi ve kanıtı verir:

Bunu aşağıdaki şekilde resmileştirebiliriz: kovaryans matrisi C verildiğinde, birim uzunluğa sahip bir vektör arıyoruz, ‖w‖ = 1, öyle ki w ^T Cw maksimumdur.

Ancak, bunun için bir sezgisel kanıt olduğunu düşünüyorum:

İlk ana yönün en büyük özdeğere sahip özvektör tarafından verildiği ortaya çıktı. Bu önemsiz ve şaşırtıcı bir ifadedir.

W yorumlayabilir ^T geçmekte ve w ile elde vektörün w ve Cw arasında bir nokta ürün olarak Cw dönüşüm C:

W ^{, T} Cw = ‖w‖ * ‖Cw‖ * cos (Cw, a)

W sabit uzunluğa sahip olduğundan, w ^T Cw seviyesini maksimize etmek için ihtiyacımız var:

1. ‖Cw‖ büyütmek
2. cos (w, Cw) değerini maksimize et

En büyük özdeğerle C'nin özvektörü olmak için w alırsak, her ikisini de aynı anda arşivleyebiliriz:

1. ‖Cw‖ max, (eğer bu özvektörden saparsanız, ortogonal özvektörler boyunca ayrıştırırsanız, ‖Cw‖ azaldığını görmelisiniz.)
2. w ve Cw aynı yönde, cos (w, Cw) = 1, maks

Özvektörler ortogonal olduklarından, C'nin diğer özvektörleriyle birlikte, X'e bir ana bileşen kümesi oluştururlar.

1 kanıtı

w'nin ortogonal primer ve sekonder özvektör v1 ve v2'ye ayrıştırılması , uzunluklarının sırasıyla v1 ve v2 olduğunu varsayalım. kanıtlamak istiyoruz

(λ ₁ w) ² > ((λ ₁ v1) ² + (λ ₂ v2) ² )

 beri ₁ > λ ₂ , elimizdeki

((λ ₁ v1) ² + (λ ₂ v2) ² )

<((λ ₁ v1) ² + (λ ₁ v2) ² )

= (λ ₁ ) ² * (v1 ² + v2 ² )

= (Λ ₁ ) ² w * ²