Doğrusal çekirdekli Çekirdek PCA, standart PCA'ya eşdeğer midir?

Varsa çekirdeğin PCA ben doğrusal çekirdek seçim $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$ , sonuç farklı olacak Sıradan doğrusal PCA ? Çözümler temelde farklı mı veya iyi tanımlanmış bir ilişki var mı?

pca kernel-trick

— tgoossens
kaynak

Yanıtlar:

Özet: Doğrusal çekirdekli çekirdek PCA, standart PCA ile tam olarak eşdeğerdir.

, sütunlarda değişkenleri ve satırlardaki veri noktaları ile boyutunun $\mathbf{X}$ ortalanmış veri matrisi olsun . Daha sonra kovaryans matrisi , özvektörleri temel eksenler ve özdeğerler PC varyanslarıdır. Aynı zamanda, boyutunda Gram matrisi olarak adlandırılabilir . kadar aynı özdeğerlere (yani PC varyanslarına) sahip olduğunu görmek kolaydır. $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$ faktör ve özvektörleri birim normlara göre ölçeklendirilmiş temel bileşenlerdir.

Bu standart PCA idi. Şimdi, çekirdek PCA'da, her veri noktasını, genellikle daha büyük boyutta , muhtemelen sonsuz olan başka bir vektör uzayına eşleyen bazı fonksiyonunu ele alıyoruz . Çekirdek PCA fikri, bu yeni alanda standart PCA'yı gerçekleştirmek. $\phi(x)$ $D_\mathrm{new}$

Bu yeni uzayın boyutsallığı çok büyük (veya sonsuz) olduğundan, bir kovaryans matrisi hesaplamak zor veya imkansızdır. Ancak, yukarıda açıklanan PCA'ya ikinci yaklaşımı uygulayabiliriz. Aslında, Gram matrisi hala aynı yönetilebilir boyutunda olacaktır. Bu matrisin elemanları tarafından verilmektedir , dediğimiz olan çekirdek fonksiyonu $N \times N$ $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ . Çekirdek hilesi olarak bilinen şey budur : kişinin aslında hesaplaması gerekmez , sadece . Bu Gram matrisinin özvektörleri, ilgilendiklerimiz olan hedef uzaydaki temel bileşenler olacaktır. $\phi()$ $K()$

Sorunuzun cevabı şimdi belli oluyor. Eğer , sonra çekirdek gram matris azaltır , standart Gram matris eşit olan, ve bu nedenle temel bileşenler değiştirmeyecektir. $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

Çok okunabilir bir referans, Scholkopf B, Smola A ve Müller KR, Çekirdek ana bileşen analizi, 1999'dur ve örneğin Şekil 1'de standart PCA'yı açıkça bir çekirdek işlevi olarak nokta ürünü kullanan olarak ifade ettiklerine dikkat edin:

kernel PCA

— amo diyor Reinstate Monica
kaynak

cevabınızdaki resimler nelerdi? Bazı kitaplardan mı?

— Pinokyo

@Pinocchio, şekil Scholkopf ve ark. cevabımda atıfta bulunulan ve bağlantı verilen kağıt.

— amip diyor Reinstate Monica

" N − 1 faktörüne kadar aynı özdeğerlere (yani PC varyanslarına) sahip olduğunu görmek kolaydır " - bu, o zaman tamamen eşdeğer olmadıkları anlamına gelmez mi? Diyelim ki n = 10 örnek, d = 200 boyutlu bir matrisim var. Standart PCA'da verileri istersem 199 boyuta yansıtabilecektim, ancak doğrusal çekirdekli PCA'da en fazla 10 boyuta sahip olabilirim.

— Cesar

@Cesar, hayır, n = 10 örneğiniz varsa kovaryans matrisi 10-1 = 9 derecesine sahip olacak ve standart PCA sadece 9 boyut bulacaktır (çekirdek PCA'nın yanı sıra). Buraya bakın: stats.stackexchange.com/questions/123318 .

— amip diyor Reinstate Monica

Scholkopf B, Smola A ve Müller KR referans bağlantısı için dosya bulunamadı.

— pbible

$X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ aynı sol tekil vektörlere ve dolayısıyla aynı temel bileşenlere sahiptir.

— Martha Beyaz
kaynak

Standart PCA için, kovaryans matrisinin SVD'sini önemsediğimizi düşündüm, bu yüzden X'in SVD'sinin nasıl alakalı olduğunu gerçekten anlamayın, lütfen genişletebilir misiniz?

— m0s

@ m0s PCA için, genellikle (ortalanmış) veri matrisinin SVD'si tarafından gerçekleştirdiğimiz kovaryans matrisinin özdeğiştirilmesini önemseriz.

— MrDrFenner

Bana öyle geliyor ki, doğrusal çekirdekli bir KPCA, basit PCA ile aynı olmalıdır.

Özdeğerleri alacağınız kovaryans matrisi aynıdır:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

You can check with more details here.

— Jundiaius
kaynak

Your answer is correct in spirit, but the formula looks confusing. KPCA works with Gram matrix

K (x_{i}, x_{j})

$K(x_i, x_j)$ , not with covariance matrix (for many nonlinear kernels it's actually impossible to compute covariance matrix as the target space has infinite dimensionality). See page 2 of the paper you cite.

— amoeba says Reinstate Monica