PCA'nın Doğrusallığı

35

PCA doğrusal bir prosedür olarak kabul edilir, ancak:

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

burada . Bu veriler matrisler üzerinde PCAs ile elde özvektörler yani veri matrisleri toplamına PCA ile elde edilen öz vektörleri eşit Özetle yok . Fakat doğrusal bir fonksiyonun tanımı değildir : $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

Öyleyse PCA, bu çok temel doğrusallık durumunu karşılamıyorsa neden “doğrusal” olarak kabul edilir?

pca linear

— Alfa Omega
kaynak

Bir keresinde yazdım veya duydum (üzgünüm, nerede veya ne zaman hatırlayamıyorum), PCA'nın "lineer prosedürler ailesine ait olduğunu" çünkü değişkenler arasındaki lineer bağımlılıklara dayanıyor. Pearson korelasyon matrisini kullanır ve en yüksek varyanslı doğrusal kombinasyonları arar.

— asukasz Deryło

4

Sıradan en küçük kareler regresyonunun daha basit ve rutin ayarını düşünerek bu sorunun niteliği biraz daha netleşebilir: bu, doğrusal bir istatistiksel prosedürün arketipidir. Bununla birlikte, en küçük kareler katsayılarının tahmin edilmesi işlemi, veri matrisi bir açıkça doğrusal olmayan bir fonksiyonu olduğu

, formül da anlaşılacağı gibi

. (Not bu yanıt vektörü doğrusal bir fonksiyonu olduğu

.)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

F (x) = x + 1'in de bir "doğrusal işlev" olduğunu hatırlamakta fayda var ... ama ne söylediğini tatmin etmiyor ... bir şeyi açıklamalı.

— Mehrdad,

Çünkü

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Gabriel Romon

39

$f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

$k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$

4

$4$

— amip Reinstate Monica diyor
kaynak

Bu önemsiz cevap için 35 puan almam oldukça saçma (ve bu konunun çoğunlukla bir süre Hot Network Sorularında olması nedeniyle).

— amip diyor Reinstate Monica

5

"Doğrusal" birçok anlama gelebilir ve yalnızca resmi bir şekilde kullanılmaz.

PCA çoğu zaman biçimsel olarak bir işlev olarak tanımlanmaz ve bu nedenle, böyle tanımlandığında doğrusal bir işlevin gereksinimlerini yerine getirmesi beklenmez. Daha sık söylediğiniz gibi bir prosedür olarak ve bazen de bir algoritma olarak tanımlanmıştır (bu son seçeneği sevmeme rağmen). Çoğu zaman gayri resmi olarak tanımlanmıştır, gayrı resmi bir şekilde doğrusal olduğu söylenir.

$X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

$f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

— broncoAbierto
kaynak

3

PCA doğrusal bir dönüşüm sağlar / sağlar.

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

Karşılaştırma olarak, doğrusal bir dönüşüm kullanan, ancak doğrusal bir dönüşüm olmayan, sürecin çok basit bir örneği:

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

ve

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

fakat

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

açıların hesaplanmasını içeren açının bu iki katı, doğrusal değildir ve özvektör hesaplamasının doğrusal olmadığını, amip ifadesine benzerdir.

— Sextus Empiricus
kaynak