SVD ve PCA arasındaki ilişki. PCA gerçekleştirmek için SVD nasıl kullanılır?

Temel bileşen analizi (PCA) genellikle kovaryans matrisinin bir öz-ayrışmasıyla açıklanır. Bununla birlikte, veri matrisinin tekil değer ayrıştırması (SVD) yoluyla da gerçekleştirilebilir . O nasıl çalışır? Bu iki yaklaşım arasındaki bağlantı nedir? SVD ile PCA arasındaki ilişki nedir?$\mathbf X$

Başka bir deyişle, boyutsallık azaltma gerçekleştirmek için veri matrisinin SVD'si nasıl kullanılır?

Let veri matrisi olması boyutu, numune sayısıdır ve değişken sayısıdır. Bunun ortalanmış olduğunu , yani sütun araçlarının çıkarıldığını ve şimdi sıfıra eşit olduğunu kabul edelim .$\mathbf X$$n \times p$$n$$p$

Sonra kovaryans matrisi verilir . Bu simetrik bir matristir ve bu yüzden köşegenleştirilebilir: bir özvektör matrisi (her bir sütun, bir özvektördür) ve bir olduğu köşegendeki azalan düzende özdeğerleri olan bir köşegen matris . Özvektörler ana eksen veya verinin ana yönleri olarak adlandırılır . Ana eksenlerdeki verilerin projeksiyonlarına, PC puanları olarak da bilinen ana bileşenler denir.$p \times p$$\mathbf C$$\mathbf C = \mathbf X^\top \mathbf X/(n-1)$

$$\mathbf C = \mathbf V \mathbf L \mathbf V^\top,$$ $\mathbf V$$\mathbf L$$\lambda_i$; bunlar yeni, dönüştürülmüş değişkenler olarak görülebilir. temel bileşen ile verilir-inci ve inci kolonu . Yeni PC alanındaki inci veri noktasının koordinatları inci satırında verilmiştir .$j$$j$$\mathbf {XV}$$i$$i$$\mathbf{XV}$

Şimdi tekil değer ayrışımı gerçekleştirmek ise , elde ettiğimiz bir ayrışma yekpare bir matris ve bir köşegen matris tekil değerler . Buradan kolayca görülebilir ki yani sağ tekil vektörler ana yönler olduğu ve tekil değerlerin ile kovaryans matrisinin özdeğerleri ile ilgili olduğu anlamına gelir. . Ana bileşenler tarafından verilmektedir.$\mathbf X$

$$\mathbf X = \mathbf U \mathbf S \mathbf V^\top,$$ $\mathbf U$$\mathbf S$$s_i$ $$\mathbf C = \mathbf V \mathbf S \mathbf U^\top \mathbf U \mathbf S \mathbf V^\top /(n-1) = \mathbf V \frac{\mathbf S^2}{n-1}\mathbf V^\top,$$ $\mathbf V$$\lambda_i = s_i^2/(n-1)$$\mathbf X \mathbf V = \mathbf U \mathbf S \mathbf V^\top \mathbf V = \mathbf U \mathbf S$ .

Özetlemek:

1. Eğer , daha sonra sütun ana yön / eksenlerdir.$\mathbf X = \mathbf U \mathbf S \mathbf V^\top$$\mathbf V$
2. sütunları ana bileşenlerdir ("puanlar").$\mathbf {US}$
3. Tekil değerler kovaryans matrisinin özdeğerleriyle . Özdeğerler , ilgili PC'lerin varyanslarını göstermektedir.$\lambda_i = s_i^2/(n-1)$$\lambda_i$
4. Standart puanlar sütunlarıyla, yükler ise sütunlarıyla verilir . Örneğin, "yüklemelerin" neden ana talimatlarla karıştırılmaması gerektiğine dair örneğin burada ve burada görün .$\sqrt{n-1}\mathbf U$$\mathbf V \mathbf S/\sqrt{n-1}$
5. Yukarıdaki sadece ortalanmışsa doğrudur . $\mathbf X$Ancak o zaman kovaryans matrisi eşittir .$\mathbf X^\top \mathbf X/(n-1)$
6. Yukarıdakiler yalnızca satırlardaki örneklere ve sütunlardaki değişkenlere sahip olan için doğrudur . Değişkenler satırlar halinde ve sütunlarda örnekler ise, ve alışverişi yorumlar.$\mathbf X$$\mathbf U$$\mathbf V$
7. Eğer biri PCA'yı bir korelasyon matrisi üzerinde (bir kovaryans matrisi yerine) gerçekleştirmek isterse, o zaman sütunları sadece ortalanmamalı, standartlaştırılmalı, yani standart sapmalarına bölünmelidir.$\mathbf X$
8. Veri boyutunu azaltmak için için , seçme ilk sütun ve sol üst kısmını . Onların ürünleri , ilk PC içeren gerekli matrisidir .$p$$k<p$$k$$\mathbf U$$k\times k$$\mathbf S$$\mathbf U_k \mathbf S_k$$n \times k$$k$
9. İlk PC'leri karşılık gelen ana eksenler verimleri matrisinin orjinal değerine sahip olması size fakat daha düşük bir değere sahip ( ). Bu matris , ilk PC'lerden gelen orijinal verilerin yeniden oluşturulmasını sağlar . Olası en düşük yeniden yapılandırma hatası var, cevabımı burada gör .$k$$\mathbf V_k^\top$$\mathbf X_k = \mathbf U_k^\vphantom \top \mathbf S_k^\vphantom \top \mathbf V_k^\top$$n \times p$$k$$\mathbf X_k$$k$
10. Açıkça söylemek gerekirse, , boyutunda ve , boyutundadır. Bununla birlikte, eğer o zaman nun son sütunları keyfidir (ve karşılık gelen sıraları sıfırdır); Bu nedenle bir tanesi kullanmalıdır ekonomi boyutu (ya da ince döner) SVD ve gereksiz sütun bırakarak, boyut. Büyük matrisi için aksi takdirde gereksiz yere çok büyük olur. Aynısı tersi durum için de geçerlidir.$\mathbf U$$n\times n$$\mathbf V$$p \times p$$n>p$$n-p$$\mathbf U$$\mathbf S$$\mathbf U$$n\times p$$n\gg p$$\mathbf U$$n\ll p$.

---

Diğer bağlantılar

• SVD ve PCA arasındaki sezgisel ilişki nedir - matematikte çok popüler ve çok benzer bir konu.

• Neden verilerin PCA'sı SVD aracılığıyla? - PCA'yı SVD yoluyla gerçekleştirmenin yararlarının ne olduğu hakkında bir tartışma [kısa cevap: sayısal kararlılık].

• Tüm SVD'ye dayanan bazı türdeş teknikler bağlamında Biplot - PCA ile ilişkilerinde PCA ve Yazışma analizi .

• PCD'ye göre SVD'nin herhangi bir avantajı var mı? - PCA yerine SVD kullanmanın herhangi bir yararı olup olmadığını soran bir soru [kısa cevap: hatalı soru].

• Temel bileşen analizi, özvektörler ve özdeğerler anlamında - PCA'nın teknik olmayan bir açıklamasını veren cevabım. Dikkat çekmek için, burada bir rakam üretiyorum:

@ Amoeba'nın cevabına eşlik eden bir Python & Numpy pasajı yazdım ve biri için faydalı olması durumunda burada bıraktım. Yorumlar çoğunlukla @ amoeba'nın yanıtından alınmıştır.

import numpy as np
from numpy import linalg as la
np.random.seed(42)


def flip_signs(A, B):
    """
    utility function for resolving the sign ambiguity in SVD
    http://stats.stackexchange.com/q/34396/115202
    """
    signs = np.sign(A) * np.sign(B)
    return A, B * signs


# Let the data matrix X be of n x p size,
# where n is the number of samples and p is the number of variables
n, p = 5, 3
X = np.random.rand(n, p)
# Let us assume that it is centered
X -= np.mean(X, axis=0)

# the p x p covariance matrix
C = np.cov(X, rowvar=False)
print "C = \n", C
# C is a symmetric matrix and so it can be diagonalized:
l, principal_axes = la.eig(C)
# sort results wrt. eigenvalues
idx = l.argsort()[::-1]
l, principal_axes = l[idx], principal_axes[:, idx]
# the eigenvalues in decreasing order
print "l = \n", l
# a matrix of eigenvectors (each column is an eigenvector)
print "V = \n", principal_axes
# projections of X on the principal axes are called principal components
principal_components = X.dot(principal_axes)
print "Y = \n", principal_components

# we now perform singular value decomposition of X
# "economy size" (or "thin") SVD
U, s, Vt = la.svd(X, full_matrices=False)
V = Vt.T
S = np.diag(s)

# 1) then columns of V are principal directions/axes.
assert np.allclose(*flip_signs(V, principal_axes))

# 2) columns of US are principal components
assert np.allclose(*flip_signs(U.dot(S), principal_components))

# 3) singular values are related to the eigenvalues of covariance matrix
assert np.allclose((s ** 2) / (n - 1), l)

# 8) dimensionality reduction
k = 2
PC_k = principal_components[:, 0:k]
US_k = U[:, 0:k].dot(S[0:k, 0:k])
assert np.allclose(*flip_signs(PC_k, US_k))

# 10) we used "economy size" (or "thin") SVD
assert U.shape == (n, p)
assert S.shape == (p, p)
assert V.shape == (p, p)

PCA ile başlayalım. Her birinin d sayısından (veya boyutundan) oluşan n veri noktanız olduğunu varsayalım. Bu verileri her veri vektöründen ortalama veri noktasını çıkarın ) bir matris yapmak için verileri yığınlandırabilirsiniz.$\mu$$x_i$

$$X = \left( \begin{array}{ccccc} && x_1^T - \mu^T && \\ \hline && x_2^T - \mu^T && \\ \hline && \vdots && \\ \hline && x_n^T - \mu^T && \end{array} \right)\,.$$

Kovaryans matrisi

$$S = \frac{1}{n-1} \sum_{i=1}^n (x_i-\mu)(x_i-\mu)^T = \frac{1}{n-1} X^T X$$

Verilerinizin verildiği farklı koordinatların ne dereceye kadar olduğu ölçüler birlikte değişir. Bu nedenle, verilerinizin varyasyonunu yakalamak için tasarlanan PCA'nın kovaryans matrisi açısından verilebilmesi şaşırtıcı değildir. Özellikle, özdeğer ayrışma olduğu ortaya çıkıyor$S$

$$S = V \Lambda V^T = \sum_{i = 1}^r \lambda_i v_i v_i^T \,,$$

burada olan -inci Ana bileşen ya da PC ve olan -inci özdeğer arasında ve birlikte veri varyans eşittir -inci PC. Bu ayrışma lineer cebir genel teoremi geliyor ve bazı iş gelmez PCA için relatino motive etmek yapılması gerekmektedir.$v_i$$i$$\lambda_i$$i$$S$$i$

SVD, matrisi sütun boşluğu ve satır boşluğu açısından anlamanın genel bir yoludur. (Herhangi bir matrisi satır ve sütun alanıyla sezgisel bir ilişkisi olan diğer matrisler açısından yeniden yazmanın bir yolu.) Örneğin, matrisi için Etki alanında ve yönlerini bulabiliriz ;$A = \left( \begin{array}{cc}1&2\\0&1\end{array} \right)$$u_i$$v_i$

Bunları, lineer bir dönüşüm olarak bir birim küre bir elips için nasıl göz önünde bulundurarak bulabilirsiniz : elipsin temel yarı eksenleri ve ile aynı onların ön görüntüleridir.$A$$\mathbb S$$u_i$$v_i$

Her durumda, yukarıdaki veri matrisi için (gerçekten, sadece ayarını yapın), SVD yazmamıza izin verir$X$$A = X$

$$X = \sum_{i=1}^r \sigma_i u_i v_j^T\,,$$

burada ve özdeğer dekompozisyon ile vectors.A karşılaştırma ortonormal kümeleridir "doğru tekil vektörleri" olduğunu ortaya koymaktadır bilgisayarlar eşittir, "doğru tekil vektörleri" olarak$\{ u_i \}$$\{ v_i \}$$S$$v_i$

$$u_i = \frac{1}{\sqrt{(n-1)\lambda_i}} Xv_i\,,$$

ve "tekil değerler" , veri matrisi ile ilgilidir.$\sigma_i$

$$\sigma_i^2 = (n-1) \lambda_i\,.$$

Bu, doğru tekil vektörlerin sütun uzayını genel bir gerçektir . Bu özel durumda, bize veri bir ölçekli çıkıntı elde yönünde üzerine 'inci ana bileşen. Genel olarak sol tekil vektörler genel olarak sıra uzayını kapsar ki bu bize PC'lere benzer şekilde yayılan bir dizi ortonormal vektör verir.$u_i$$X$$u_i$$X$$i$$v_i$$X$

Bu uzun makalede PCA ile SVD arasındaki ilişkinin bazı detaylarına ve faydalarına değiniyorum .