PCA'nın nesnel işlevi nedir?

Temel bileşen analizi matris ayrıştırmasını kullanabilir , ancak bu oraya ulaşmak için yalnızca bir araçtır.

Temel bileşenleri matris cebiri kullanmadan nasıl bulabilirsin?

Amaç işlevi (hedef) nedir ve kısıtlamalar nelerdir?

pca

— Neil McGuigan
kaynak

Belki bir şeyleri özlüyorum, bu yüzden lütfen hatalıysam düzeltin, ancak (en azından ilke olarak) PCA'da yapılanları matrisleri (karmaşık) doğrusal programlama problemi olarak kullanarak yapmak mümkün olmalı, ancak yapmam. Gereken tüm kısıtlamaları nasıl ifade edeceğinizi bilirsiniz. Ayrıca bunun sadece PCA kullanmaya kıyasla çok kolay olacağından emin değilim. Neden matrislerden uzak durmaya çalışıyorsun?

— Chris Simokat

@Chris Doğrusal bir programlama problemine nasıl ulaşabileceğimi anlamıyorum. Anladığım kadarıyla hesaplamada matrislerden kaçınılması gerektiği de değildi . Soru PCA tarafından ne tür bir problemin çözüldüğü idi, ve nasıl yapıldığı değil (örneğin SVD'yi hesaplayarak). Kardinal çözümü, art arda dikgen maksimum varyans yönlerini bulduğunuzu söylüyor . Sunulan çözüm, asgari yeniden yapılanma hatası ile hiperplanları bulduğunuzu söylüyor.

— NRH

@chris PCA'yı, matriks cebri olmadan görebilmemi sağlamak için başka bir yol bulmayı umuyorum.

— Neil McGuigan

@Chris, İkinci dereceden bir nesnel işleviniz ve bir norm eşitliği kısıtınız var. Alternatif olarak, @ NRH'nin cevabındaki formülasyon altında, bir matris sıra sınırlamanız vardır. Bu kendini doğrusal bir programlama problemine düşürmez. @NRH, bazı iyi sezgiler verir ve gerçekte, PCA’ya verilen iki perspektif arasında çok yakın bir bağlantı vardır. Belki de @NRH ile işbirliği yaparak, cevapların tamamını daha eksiksiz hale getirmek için görevine bunu ekleyebiliriz.

ℓ_{2}

$\ell_2$

— kardinal

@NRH, Aslında gibi ESL çok, ama kitapta konuların birçoğu için olduğu gibi bu konunun tedavi orada, oldukça yüzeysel olduğunu düşünüyorum. Özellikle, verdiğiniz optimizasyon problemi için çözümün önemli bölümünü ispatlamazlar (veya bir egzersiz olarak bile atamazlar).

— kardinal,

Yanıtlar:

Bir optimizasyon açısından, PCA üzerinde tam astar vermeye çalışıyor olmadan, birincil amaç fonksiyonu olan Rayleigh bölüm . matris (bazılarıdan birkaçı) örnek kovaryans matrisi burada her bir , özelliklerinin bir vektörüdür ve , sıranın olacağı şekilde bir matristir .

S = \frac{1}{n} \sum_{i = 1}^{n} x_{i} x_{i}^{T} = X^{T} X / n

$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$

x_{i}

$\x_i$

p

$p$

X

$\m{X}$

i

$i$

x_{i}^{T}

$\x_i^T$

PCA, bir dizi optimizasyon problemini çözmeye çalışıyor . Sıradaki ilk sınırlanmamış sorun

\begin{array}{ll} maximize & \frac{u^{T} S u}{u^{T} u}, u \in R^{p} . \end{array}

$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$

beri, yukarıdaki kısıtlanmamış sorun, kısıtlı soruna eşdeğerdir $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

\begin{array}{ll} maximize & u^{T} S u \\ subject to & u^{T} u = 1 . \end{array}

$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$

Matris cebirinin girdiği yer burasıdır. , simetrik bir pozitif yarı-yarı matris olduğundan (inşaat ile!), biçiminde özdeğer bir ayrışmaya sahiptir burada bir ortogonal matris (böylece ) ve bir köşegen matris ile negatif olmayan girişleri olan şekilde . $\S$

S = Q Λ Q^{T},

$\S = \Q \L \Q^T \>,$

Q

$\Q$

Q Q^{T} = I

$\Q \Q^T = \m{I}$

Λ

$\L$

λ_{i}

$\lambda_i$

λ_{1} \geq λ_{2} \geq \dots \geq λ_{p} \geq 0

$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

Dolayısıyla, . Yana birinin bir norm olması sorunu kısıtlanır, o zaman bir yana , ortogonal olduğundan. $\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$ $\u$ $\m{w}$ $\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$ $\Q$

Ancak, sınırlamaları altında en üst düzeye çıkarmak istiyorsak , yapabileceğimiz en iyi şey grubu , olduğu ve için . $\sum_{i=1}^p \lambda_i w_i^2$ $\sum_{i=1}^p w_i^2 = 1$ $\m{w} = \m{e}_1$ $w_1 = 1$ $w_i = 0$ $i > 1$

Şimdi, karşılık gelen , ilk etapta aradığımız şeydi, geri dönersek, elde ederiz, burada ilk sütunu , yani en büyük özdeğerine karşılık gelen özvektörünü belirtir . Amaç işlevinin değeri de kolayca görülebilir . $\u$

u^{⋆} = Q e_{1} = q_{1}

$\u^\star = \Q \m{e}_1 = \m{q}_1$

q_{1}

$\m{q}_1$

Q

$\Q$

S

$\S$

λ_{1}

$\lambda_1$

Kalan ana bileşen vektörleri daha sonra optimizasyon problemlerinin sırasını ( indeksli ) çözerek bulunur Dolayısıyla, sorun aynıdır, ancak çözümün dizideki önceki çözümlerin hepsine dik olması gereken ek kısıtı eklememiz dışında . Çözüm olduğunu göstermek için indüktif olarak yukarıda argüman uzatmak için zor değildir gerçekten inci sorun, , inci özvektörün . $i$

\begin{array}{ll} maximize & u_{i}^{T} S u_{i} \\ subject to & u_{i}^{T} u_{i} = 1 \\ u_{i}^{T} u_{j} = 0 \forall 1 \leq j < i . \end{array}

$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$

i

$i$

q_{i}

$\m{q}_i$

i

$i$

S

$\S$

PCA çözeltisi ayrıca çoğu zaman cinsinden ifade edilir tekil değer ayrışımı arasında . Nedenini görmek için, . Sonra ve böylece (kesinlikle konuşursak, işarete basar) ve . $\m{X}$ $\m{X} = \m{U} \m{D} \m{V}^T$ $n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$ $\m{V} = \m{Q}$ $\L = \m{D}^2 / n$

Ana bileşenler , ana bileşen vektörleri üzerine yansıtılarak bulunur. Az önce verilen SVD formülasyonundan, olduğunu görmek kolaydır. $\m{X}$

X Q = X V = U D V^{T} V = U D .

$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$

Hem ana bileşen vektörlerinin hem de ana bileşenlerin kendilerini, özellikler matrisinin SVD'si olarak temsil etmesinin basitliği, SVD'nin PCA'nın bazı işlemlerinde belirgin şekilde öne çıkmasının bir nedenidir.

— kardinal
kaynak

Yalnızca ilk birkaç tekil değere / vektöre ihtiyaç duyulursa, Nash ve Shlien, baskın özdeğerleri hesaplamak için olağan güç yöntemini hatırlatan bir algoritma verir . Bu OP için ilgi çekici olabilir.

— JM, istatistikçi değil

@NRH, Yazılarımı görmeyi başarmadan önce yazım hatalarımı (ve düzeltmeleri için) teşekkürler!

— kardinal

Merhaba @cardinal, cevabınız için teşekkür ederim. Ancak, sıralı optimizasyonun neden küresel bir optimum hale geldiğini kanıtlama adımını atmadığınız görülüyor. Lütfen bunu biraz açıklayabilir misiniz? Teşekkürler!

— Lifu Huang

Kardinal tarafından sunulan çözüm , örnek kovaryans matrisine odaklanır. Başka bir başlangıç noktası, verinin bir q boyutlu hiper düzlem tarafından yeniden yapılanma hatasıdır . Eğer p boyutlu veri noktaları amacı çözmek için $x_1, \ldots, x_n$

min_{μ, λ_{1}, \dots, λ_{n}, V_{q}} \sum_{i = 1}^{n} | | x_{i} - μ - V_{q} λ_{i} | |^{2}

$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$

Bir için matris dik sütunları ile . Bu , öklid normuyla ölçüldüğü şekliyle en iyi q- rekonstrüksiyonunu verir ve çözümünün sütunları ilk q ana bileşen vektörleridir. $p \times q$ $\mathbf{V}_q$ $\lambda_i \in \mathbb{R}^q$ $\mathbf{V}_q$

Sabit için ve (bu regresyondur) için çözüm $\mathbf{V}_q$ $\mu$ $\lambda_i$

μ = \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} λ_{i} = V_{q}^{T} (x_{i} - \bar{x})

$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$

Gösterim kolaylığı için , aşağıdaki hesaplamalarda ortalandığını varsayalım . Sonra en aza indirmeliyiz $x_i$

\sum_{i = 1}^{n} | | x_{i} - V_{q} V_{q}^{T} x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$

üzerinde dik sütunlu. Not, olan çıkıntı üzerine q boyutlu sütun alanı. Bu nedenle, sorun değerinin minimize edilmesine eşdeğerdir. seviye üzerinde q çıkıntılar . Biz gerekir olan en üst düzeye çıkarmak rütbe q projeksiyonları , burada örnek kovaryans matrisidir. şimdi $\mathbf{V}_q$ $P = \mathbf{V}_q\mathbf{V}_q^T$

\sum_{i = 1}^{n} | | x_{i} - P x_{i} | |^{2} = \sum_{i = 1}^{n} | | x_{i} | |^{2} - \sum_{i = 1}^{n} | | P x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$

P

$P$

\sum_{i = 1}^{n} | | P x_{i} | |^{2} = \sum_{i = 1}^{n} x_{i}^{T} P x_{i} = tr (P \sum_{i = 1}^{n} x_{i} x_{i}^{T}) = n tr (P S)

$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$

P

$P$

S

$\mathbf{S}$

tr (P S) = tr (V_{q}^{T} S V_{q}) = \sum_{i = 1}^{q} u_{i}^{T} S u_{i}

$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$ burada olan içinde (ortonormal) sütun maksimum alarak elde edilir kardinal cevabı göstermek @ sunulan ve bağımsız değişkenler ' s olması özvektörleri ile

u_{1}, \dots, u_{q}

$u_1, \ldots, u_q$

q

$q$

V_{q}

$\mathbf{V}_q$

u_{i}

$u_i$

q

$q$

S

$\mathbf{S}$

q

$q$ büyük özdeğerler.

Yeniden yapılanma hatası, örneğin seyrek ana bileşenler veya hiper düzlemler yerine düşük boyutlu manifoldlarla yapılan yeniden yapılandırmalar gibi bir takım faydalı genelleştirmeler önermektedir. Ayrıntılar için, bkz . İstatistiksel Öğrenmenin Elemanları, Bölüm 14.5 .

— NRH
kaynak

(+1) İyi puanlar. Bazı öneriler: tanımlamak iyi olur ve sonucun kısa bir kanıtını vermek gerçekten iyi olurdu . Veya, alternatif olarak, Rayleight bölümlerini içeren optimizasyon problemine bağlanabilir. Bence bu, bu sorunun cevaplarını çok daha iyi yapar!

λ_{i}

$\lambda_i$

— kardinal

@ cardinal, imar formülasyonundan çözdüğünüz soruna kadar eksik adımları attığımı düşünüyorum.

— NRH

İyi iş. Kalan boşluğun son ifadenizde olduğuna inanıyorum. Toplamı optimize etmenin cevabımdaki optimizasyon sırasını gerçekleştirmekle aynı olduğu hemen belli değil. Aslında, genel olarak doğrudan takip ettiğini sanmıyorum. Ancak, burada da ele alınması gerekmez.

— kardinal

@ cardinal, indüksiyonla takip eder. İndüksiyon başlangıcını ve indüksiyon adımında toplamı maksimize eden ve ortogonal bir birim vektörü olacak şekilde düzenleyen vektörler seçin . Sonra, sonuçlarına göre ve indüksiyon varsayımına göre . Tabii ki, temel boyutlu uzay için benzersiz bir temel değildir . Doğrudan bir kanıt vermek için kullandığınız "dışbükey birleşim argümanı" özelliğini de genelleştirebilirsiniz.

w_{1}, \dots, w_{q}

$w_1, \ldots, w_q$

w_{q}

$w_q$

u_{1}, \dots, u_{q - 1}

$u_1, \ldots, u_{q-1}$

w_{q}^{T} S w_{q} \leq u_{q}^{T} S u_{q}

$w_q^T \mathbf{S} w_q \leq u_q^T \mathbf{S} u_q$

\sum_{i = 1}^{q - 1} w_{i}^{T} S w_{i} \leq \sum_{i = 1}^{q - 1} u_{i}^{T} S u_{i}

$\sum_{i=1}^{q-1} w_i^T \mathbf{S} w_i \leq \sum_{i=1}^{q-1}u_i^T \mathbf{S} u_i$

q

$q$

— NRH

@ cardinal, sadece bir boyut değerlendirmesi kullanarak iç içe geçmeye zorlamıyorum. Bir boyutlu alt , o alanda her zaman boyutlu bir alt alana dikey olacak şekilde seçebilirsiniz . Sonra basis'i istediğiniz şekilde doldurursunuz .

q

$q$

w_{q}

$w_q$

(q - 1)

$(q-1)$

w

$w$

— NRH

Açıkça bir matris ayrıştırması kullanmayan bir algoritma için bkz. NIPALS ( wiki ). Galiba matrix cebirinden kaçınmak istediğinizi söylerken bunu kastediyorsunuz.

— JMS
kaynak