Konu (çift) uzayda PCA'nın geometrik olarak anlaşılması

Temel bileşen analizinin (PCA) konu (ikili) alanda nasıl çalıştığını sezgisel bir şekilde anlamaya çalışıyorum .

İki değişken, 2D veri kümesi düşünün ve ve veri noktası (veri matrisi isimli ve ortalanmış olduğu varsayılmaktadır). PCA'nın olağan sunumu, noktasını dikkate almamız , kovaryans matrisini yazmamız ve özvektörlerini ve özdeğerlerini bulmamızdır; ilk PC maksimum varyans yönüne vb. karşılık gelir. İşte kovaryans matrisi . Kırmızı çizgiler, ilgili özdeğerlerin kare kökleri ile ölçeklendirilmiş özvektörleri gösterir. $x_1$ $x_2$ $n$ $\mathbf X$ $n\times 2$ $n$ $\mathbb R^2$ $2\times 2$ $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$

$\hskip 1in$

Şimdi konu uzayında neler olduğunu düşünün (bu terimi @ttnphns'dan öğrendim), aynı zamanda ikili alan (makine öğreniminde kullanılan terim ) olarak da bilinir . Bu, iki değişkenimizin ( iki sütunu) örneklerinin iki vektör ve oluşturduğu boyutlu bir boşluktur . Her değişken vektörün karesi alınmış uzunluğu varyansına eşittir, iki vektör arasındaki açının kosinüsü aralarındaki korelasyona eşittir. Bu temsil, bu arada, çoklu regresyon tedavilerinde çok standarttır. Örneğimde, konu alanı şöyle görünüyor (sadece iki değişken vektörün kapsadığı 2B düzlemi gösteriyorum): $n$ $\mathbf X$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

İki değişkenin doğrusal kombinasyonları olan temel bileşenler, aynı düzlemde ve vektörlerini oluşturacaktır . Benim sorum: böyle bir arsa üzerinde orijinal değişken vektörleri kullanarak temel bileşen değişken vektörlerinin nasıl oluşturulacağının geometrik anlayışı / sezgisi nedir? Verilen ve ne geometrik prosedür doğuracak ? $\mathbf p_1$ $\mathbf p_2$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$

Aşağıda mevcut kısmi anlayışım var.

Her şeyden önce, temel bileşenleri / eksenleri standart yöntemle hesaplayabilir ve aynı şekilde çizebilirim:

$\hskip 1in$

Ayrıca, , (mavi vektörler) ile üzerindeki yansımaları arasındaki kare mesafelerin toplamının minimum şekilde ; bu mesafeler yeniden yapılandırma hatalarıdır ve siyah kesik çizgilerle gösterilmiştir. , her iki projeksiyonun kare uzunluklarının toplamını en üst düzeye çıkarır. Bu tamamen belirtir ve elbette birincil alandaki benzer açıklamaya tamamen benzerdir (Temel bileşen analizi, özvektörler ve özdeğerler anlamlandırma konusundaki animasyona bakın ). Ayrıca @ ttnphns'es yanıtının ilk bölümüne de bakın . $\mathbf p_1$ $\mathbf x_i$ $\mathbf p_1$ $\mathbf p_1$ $\mathbf p_1$

Ancak, bu yeterince geometrik değil! Bana böyle nasıl bulacağımı ve uzunluğunu belirtmiyor. $\mathbf p_1$

Benim tahminim olmasıdır , , ve bir elips tüm yalan ortalanan ile ve ana eksenleri olmak. Örneğimde şöyle görünüyor: $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$ $\mathbf p_2$ $0$ $\mathbf p_1$ $\mathbf p_2$

$\hskip 1in$

S1: Bunu nasıl kanıtlayabilirim? Doğrudan cebirsel gösteri çok sıkıcı görünmektedir; nasıl bakın bu durumda olması gerektiğini?

Ancak merkezli ve ve üzerinden geçen birçok farklı elips vardır : $0$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

S2: "Doğru" elipsi ne belirler? İlk tahminim, mümkün olan en uzun ana eksene sahip elips olmasıydı; ama yanlış gibi görünüyor (herhangi bir uzunlukta ana ekseni olan elipsler var).

Q1 ve Q2'ye cevaplar varsa, ikiden fazla değişken durumunda genelleme yapıp yapmadıklarını da bilmek istiyorum.

— amo diyor Reinstate Monica
kaynak

Başlangıç noktasında ortalanmış (x1 ve x2'nin kesiştiği) ve x1 & x2'nin uzak uçlarıyla temas eden birçok elips olduğu doğru mu? Sadece bir tane olacağını düşünürdüm. Kesinlikle bu 3 kriterden birini (orta ve 2 uç) gevşetirseniz çok olabilir.

— gung - Monica'yı eski

İki vektörden geçen başlangıç noktasında ortalanmış çok sayıda elips vardır. Ancak, doğrusal olmayan vektörler ve için ikili temelde birim daire olan sadece bir tane vardır . Bu lokusunu olan

burada

Temel eksenlerinden çok şey öğrenilebilir.

(a, b)

$(a,b)$

(c, d)

$(c,d)$

x (a, b) + y (c, d)

$x(a,b)+y(c,d)$

{| {(\begin{matrix} a & c \\ b & d \end{matrix})}^{- 1} (\begin{matrix} x \\ y \end{matrix}) |}^{2} = 1.

$\left|\pmatrix{a&c\\b&d}^{-1}\pmatrix{x\\y}\right|^2=1.$

— whuber

variable space (I borrowed this term from ttnphns)- @amoeba, yanılmış olmalısın. (Başlangıçta) n boyutlu uzayda vektörler olarak değişkenlere özne alanı denir (n özne olarak n özne olarak "p değişkenleri" yayılırken "boşluk" olarak tanımlanır). Değişken alan , tam tersi, yani olağan dağılım grafiğidir. Çok değişkenli istatistiklerde terminoloji bu şekilde kurulur. (Makine öğreniminde farklıysa - bilmiyorum - o zaman öğrenciler için çok daha kötü.)

— ttnphns

Her ikisinin de vektör uzayları olduğuna dikkat edin: vektörler (= noktalar) açıklıklardır, eksenler yönleri tanımlar ve ölçüm çentiklerini taşır. Diyalektiklere de dikkat edin: her iki "boşluk" aslında aynı boşluktur (sadece mevcut amaç için farklı formüle edilmiştir). Örneğin, bu cevabın son resminde görülür . İki formülasyonu kapladığınızda biplot veya çift boşluk elde edersiniz.

— ttnphns

My guess is that x1, x2, p1, p2 all lie on one ellipseBurada elipsin sezgisel yardımı ne olabilir? Şüpheliyim.

— ttnphns

Soruda gösterilen tüm özetleri sadece ikinci anlarına bağlıdır; veya eşdeğer olarak matrisinde . Biz düşünüyoruz Çünkü bir şekilde nokta bulutunun --each noktasının bir sıra bu noktalara basit işlemler özelliklerini korumak neyi isteyebilir --we . $\mathbf X$ $\mathbf{X^\prime X}$ $\mathbf X$ $\mathbf X$ $\mathbf{X^\prime X}$

Bir sol-çok-katlı olan bir göre matris bir üretecektir, matris . Bunun çalışması için, $\mathbf X$ $n\times n$ $\mathbf U$ $n\times 2$ $\mathbf{UX}$

X^{'} X = (U X)^{'} U X = X^{'} (U^{'} U) X .

$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$

Eşitlik zaman garanti olan zaman, bu: birim matris olan ortogonal . $\mathbf{U^\prime U}$ $n\times n$ $\mathbf{U}$

Bilindiği gibi (ve kolay göstermek için) dik matrisler Öklid yansımalar ve rotasyonlar ürünü olduğu (bir formu yansıma grubu içinde ). Dönüşleri akıllıca seçerek önemli ölçüde basitleştirebiliriz . Bir fikir, bulutta aynı anda yalnızca iki noktayı etkileyen rotasyonlara odaklanmaktır. Bunlar özellikle basittir, çünkü onları görselleştirebiliriz. $\mathbb{R}^n$ $\mathbf{X}$

Spesifik olarak, izin ve arasındaki satırları oluşturan, bulut içinde iki farklı sıfır olmayan puan olması ve arasında . Kolon alan bir dönme , sadece bu iki nokta dönüştürür bunları etkileyen $(x_i, y_i)$ $(x_j, y_j)$ $i$ $j$ $\mathbf{X}$ $\mathbb{R}^n$

{\begin{cases} (x_{i}^{'}, y_{i}^{'}) = (\cos (θ) x_{i} + \sin (θ) x_{j}, \cos (θ) y_{i} + \sin (θ) y_{j}) \\ (x_{j}^{'}, y_{j}^{'}) = (- \sin (θ) x_{i} + \cos (θ) x_{j}, - \sin (θ) y_{i} + \cos (θ) y_{j}) . \end{cases}

$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$

Bunun miktarlar vektörlerinin çizim için ve düzleminde ve açı ile çevirerek . (Koordinatlar burada karışmak Bildirimi nasıl! 'in birbirleri ile gitmek ' nin. Böylece, bu dönme etkisi birlikte gidip genellikle vektörlerin bir rotasyon benzemeyecektir ve $(x_i, x_j)$ $(y_i, y_j)$ $\theta$ $x$ $y$ $\mathbb{R}^n$ $(x_i, y_i)$ $(x_j, y_j)$ çizilmiş $\mathbb{R}^2$ ).

Doğru açıyı seçerek, bu yeni bileşenlerden herhangi birini sıfırlayabiliriz. Beton olmak için, en seçmesine izin böylece $\theta$

{\begin{cases} \cos (θ) = \pm \frac{x_{i}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \\ \sin (θ) = \pm \frac{x_{j}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \end{cases} .

$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$

Bu yapar . yapmak için işareti seçin . , temsil edilen buluttaki ve noktalarını değiştiren bu işlemi diyelim . $x_j^\prime=0$ $y_j^\prime \ge 0$ $i$ $j$ $\mathbf X$ $\gamma(i,j)$

Yinelemeli uygulanması için ilk sütun neden olur sadece ilk satırda sıfırdan farklı olması. Geometrik olarak, buluttaki bir nokta hariç tümü eksenine taşınmış olacağız . Şimdi potansiyel koordinatları kapsayan tek bir devri, geçerli olabilir içinde , o sıkmak $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$ $\mathbf{X}$ $\mathbf{X}$ $y$ $2, 3, \ldots, n$ $\mathbb{R}^n$ Tek bir noktaya puan. Eşdeğer olarak, bir blok forma indirgenmiştir $n-1$ $X$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & z \end{matrix}),

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$

ile ve , her iki sütun vektörlerinin koordinatları, bu şekilde olmasıyla $\mathbf{0}$ $\mathbf{z}$ $n-1$

X^{'} X = (\begin{matrix} {(x_{1}^{'})}^{2} & x_{1}^{'} y_{1}^{'} \\ x_{1}^{'} y_{1}^{'} & {(y_{1}^{'})}^{2} + | | z | |^{2} \end{matrix}) .

$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$

Bu son dönüşü daha da azaltır onun için üst üçgen biçiminde $\mathbf{X}$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & | | z | | \\ 0 & 0 \\ ⋮ & ⋮ \\ 0 & 0 \end{matrix}) .

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$

Aslında, artık ayakta kalan son iki sıfır noktası tarafından oluşturulan çok daha basit matris açısından anlayabiliriz . $\mathbf{X}$ $2\times 2$ $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$

Göstermek için, iki değişkenli Normal dağılımdan dört iid noktası çizdim ve değerlerini

X = (\begin{matrix} 0.09 & 0.12 \\ - 0.31 & - 0.63 \\ 0.74 & - 0.23 \\ - 1.8 & - 0.39 \end{matrix})

$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$

Bu başlangıç noktası bulutu, düz siyah noktalar kullanılarak bir sonraki şeklin solunda, renkli oklar başlangıç noktasından her bir noktaya işaret eder ( vektör olarak görselleştirmemize yardımcı olmak için ).

$\gamma(1,2), \gamma(1,3),$ $\gamma(1,4)$ $y$ $\mathbf X$ $||\mathbf{z}||$ $(x_1^\prime, y_1^\prime)$

$\mathbf X$

\begin{matrix} (1) & θ \to (\cos (θ) x_{1}^{'}, \cos (θ) y_{1}^{'} + \sin (θ) | | z | |) \end{matrix}

$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$

ikinci vektör ise aynı yolu izler.

\begin{matrix} (2) & θ \to (- \sin (θ) x_{1}^{'}, - \sin (θ) y_{1}^{'} + \cos (θ) | | z | |) . \end{matrix}

$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$

Bu eğrinin nokta kümesinin ( görüntüsü olduğu için sıkıcı cebirden kaçınabiliriz. $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$

(1, 0) \to (x_{1}^{'}, 0); (0, 1) \to (y_{1}^{'}, | | z | |),

$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$

$\theta$ $(1)$ $(2)$ $\theta$

Bunlar dik olduğundan ve elipsin eksenleri boyunca yönlendirildiklerinden , ana eksenleri doğru bir şekilde tasvir ederler : PCA çözümü. Soru 1'e cevap veriyor.

$\mathbb{R}^2$ $p=2$ $\mathbb{R}^2$

$\gamma(i,j)$ $Q$ $\mathbf{X}$ $R$ $\mathbf{D}\cdot \mathbf{V}^\prime$ $\mathbf{X} = \mathbf{U\, D\, V^\prime}$ $\mathbf{U}$

$p\ne 2$

— whuber
kaynak

Cevabınız kendi başına örnek teşkil edebilse de, bu benim için soruyla nasıl ilişkili olduğu belirsizdir. Veri bulutu X hakkında konuşuyorsunuz (ve döndürdüğünüz vektörler veri noktaları, X satırlarıdır). Ancak soru, azalan konu alanı ile ilgiliydi . Başka bir deyişle, herhangi bir X veriye sahip değiliz, sadece 2x2 kovaryans veya X'X saçılma matrisine sahibiz.

— ttnphns

(devam) Uzunluğu = sqrt (diyagonal elemanlar) ve açı = korelasyonları olan 2 vektör olarak özetlenen 2 değişkeni temsil ediyoruz. Daha sonra OP , temel bileşenler için nasıl tamamen geometrik olarak çözebileceğimizi sorar . Başka bir deyişle OP , 2x2 simetrik kovaryans matrisinin geometrik özdeğerlenmesini (özdeğerler ve özvektörler veya daha iyi yüklemeler) açıklamak istemektedir .

— ttnphns

(devam) Lütfen oradaki ikinci resme bakın . Mevcut sorunun OP'sinin aradığı şey, P1 ve P2 vektörlerini bu pic üzerine çizmek için verilen sadece X ve Y vektörlerine sahip geometrik (trigonometrik vb.) Araçlar veya püf noktaları bulmaktır.

— ttnphns

@ttnphns. It doesn't matter what the starting point is: the first half of this answer shows that you can reduce any point cloud

X

$\mathbf{X}$ to a pair of points which contain all the information about $\mathbf{X^\prime X}$ . The second half demonstrates that pair of points is not unique, but nevertheless each lies on the same ellipse. It gives an explicit construction of that ellipse beginning with any two-point representation of

X^{'} X

$\mathbf{X^\prime X}$ (such as the pair of blue vectors shown in the question). Its major and minor axes yield the PCA solution (the red vectors).

— whuber

Teşekkürler, düşüncelerinizi anlamaya başlıyorum. (Sadece bir okuyucu için yapılandırmak için, onun iki "yarısı" hakkında cevabınıza doğru altyazı / özet

— eklemeyi diliyorum