PCA amaç fonksiyonu: varyansı maksimize etmek ve hatayı minimize etmek arasındaki bağlantı nedir?

PCA algoritması, korelasyon matrisi açısından formüle edilebilir ( verilerinin $X$ zaten normalize olduğunu ve yalnızca ilk PC'ye yansımayı düşünüyoruz). Amaç işlevi şöyle yazılabilir:

max_{w} (X w)^{T} (X w) s.t. w^{T} w = 1.

$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$

Bu iyi ve biz bunu çözmek için Lagrangian çarpanlarını kullanıyoruz.

max_{w} [(X w)^{T} (X w) - λ w^{T} w],

$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$

hangi eşdeğer

max_{w} \frac{(X w)^{T} (X w)}{w^{T} w},

$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$

ve bu yüzden ( burada MathWorld bkz ) değerine eşit olacak gibi görünüyor

max_{w} \sum_{i = 1}^{n} {(distance from point x_{i} to line w)}^{2} .

$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$

Ancak bu nokta ve çizgi arasındaki mesafeyi en üst düzeye çıkarmak olduğunu söylüyor ve burada okuduklarımdan itibaren , bu yanlış - $\min$ değil, olması gerekiyor $\max$ . Benim hatam nerde?

Veya, birisi bana öngörülen uzayda varyansı maksimize etmek ile nokta ve çizgi arasındaki mesafeyi minimize etmek arasındaki bağlantıyı gösterebilir mi?

pca optimization

— Cam.Davidson.Pilon
kaynak

Bileşenlerin diklik ölçütünü karşılamak için asgari mesafenin kullanıldığını düşünüyorum. Noktalar birbirlerine dik olan PC'lere yansıtılır, ancak art arda gelen her bileşende kalan varyans maksimize edilir.

— Michael R. Chernick 12:12

İpucu: İlk önce en küçük özdeğer yerine en küçük özdeğer olduğunu düşündüğünüzde ne olur ?

— whuber

@whuber En küçük özdeğer, muhtemelen nihai amaç işlevinin çözümü olan PC'ye sahiptir. Ancak bu PC orijinal amaç işlevini en üst düzeye çıkarmaz.

— Cam.Davidson.Pilon

"Nihai" ve "orijinal" objektif işlev derken ne demek istediğinizi anlamadım. PCA (kavramsal olarak) bir optimizasyon programı değildir. Çıktı sadece bir değil, bir dizi ana yöndür. Bu yönlendirmelerin bir dizi sınırlı ikinci dereceden programın çözülmesiyle bulunabileceği (ilginç) bir matematik teoremidir, ancak bu PCA kavramları veya uygulamaları için temel değildir. Ben sadece, en büyüğünden ziyade en küçük özdeğere odaklanarak, (1) mesafeleri en aza indiren ve (2) PCA'nın optimizasyon görüntüsünü alarak iki fikrini uzlaştırabilirsiniz.

— whuber

Sorun değil - cevabınız yapmaya çalıştığım şeyin yanlış olmayan versiyonuydu.

— Cam.Davidson.Pilon

Let olmak ortalanmış bir veri matrisi satır gözlemler. Let olarak da kovaryans matrisi. Let değişken alan bir eksen belirten bir birim vektör. Biz istiyoruz ilk anapara eksen olmak. $\newcommand{\X}{\mathbf X}\X$ $n$ $\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$ $\newcommand{\w}{\mathbf w}\w$ $\w$

İlk yaklaşıma göre, ilk ana eksen projeksiyonunun varyansını maksimize eder (ilk ana bileşenin varyansı). Bu değişiklik $\X \w$

V a r (X w) = w^{⊤} X^{⊤} X w / (n - 1) = w^{⊤} Σ w .

$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$

İkinci yaklaşıma göre, ilk ana eksen ve onun yeniden yapılanması arasındaki yeniden yapılanma hatasını en aza indirir , yani orijinal noktalar ve bunların üzerine çıkarılan kare uzaklıkların toplamı . İmar hatası karesi $\X$ $\X\w\w^\top$ $\w$

\begin{aligned} ‖ X - X w w^{⊤} ‖^{2} & = t r ((X - X w w^{⊤}) (X - X w w^{⊤})^{⊤}) \\ = t r ((X - X w w^{⊤}) (X^{⊤} - w w^{⊤} X^{⊤})) \\ = t r (X X^{⊤}) - 2 t r (X w w^{⊤} X^{⊤}) + t r (X w w^{⊤} w w^{⊤} X^{⊤}) \\ = c o n s t - t r (X w w^{⊤} X^{⊤}) \\ = c o n s t - t r (w^{⊤} X^{⊤} X w) \\ = c o n s t - c o n s t \cdot w^{⊤} Σ w . \end{aligned}

$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$

Ana terimden önce eksi işaretine dikkat edin. Bu nedenle, yeniden yapılanma hatasını en aza indirgemek , varyans olan değerini en üst düzeye çıkarmaktır . Dolayısıyla yeniden yapılanma hatasını en aza indirgemek, varyansı en üst düzeye çıkarmakla aynıdır; Her iki formülasyon da aynı verim . $\w^\top \S \w$ $\w$

— amip Reinstate Monica diyor
kaynak

Fark şey, değil ile ilgili olarak bir dışbükey fonksiyonu ( olarak ? PSD Nasıl gelip bunu maksimize etmeye

w^{T} Σ w

${w}^{T} \Sigma w$

w

$w$

Σ

$\Sigma$

— Royi

@ amoeba tr () 'dan son adımda const' a nasıl geçtiğinizi açıklayabilir misiniz?

— alberto,

@ alberto İz içindeki şey bir sayıdır (1x1 matris); Bir sayının izi bu sayının kendisidir, bu nedenle iz kaldırılabilir. Sabit, , değerine eşit olduğu için görünür , bu nedenle bu faktörü vardır.

Σ

$\Sigma$

X^{⊤} X / n

$X^\top X/n$

1 / n

$1/n$

— amip diyor Reinstate Monica

@Leullame Ortonormal sütunları olan bir matris ise hesaplama için sözlü tutacaktır . Satır # 3'den satır # 4'e gitmek için ihtiyacınız var . Matris Eğer ortonormal sütun vardır, o zamana bir çıkıntı olacak sütun tarafından kapsanan matrisini (burada bir satır vektördür).

W

$W$

W^{⊤} W = I

$W^\top W = I$

W

$W$

x W W^{⊤}

$xWW^\top$

x

$x$

W

$W$

x

$x$

— amip diyor Reinstate Monica

@ DanielLópez Peki, yeniden yapılanma hatasını en aza indiren 1 boyutlu bir alt uzay arıyoruz. 1 boyutlu bir alt uzay, alındığı yönünü gösteren bir birim norm vektörüyle tanımlanabilir . Yapısal olarak birim normuna sahiptir.

w

$w$

— amip diyor Reinstate Monica