Seyrek PCA, PCA'dan tam olarak ne kadar iyidir?

PCA hakkında birkaç ders önce sınıfta öğrendim ve bu büyüleyici konsept hakkında daha fazla şey kazarak, seyrek PCA hakkında bilgi sahibi oldum.

Sormak istedim, yanlış değilsem, PCA'nın seyrek olduğu şey budur: PCA'da, değişkenli veri noktalarınız varsa, PCA'yı uygulamadan önce her veri noktasını boyutlu alanda temsil edebilirsiniz . PCA'yı uyguladıktan sonra, tekrar aynı boyutsal alanda temsil edebilirsiniz, ancak bu kez, ilk ana bileşen en fazla varyansı, ikincisi en fazla ikinci varyans yönünü ve benzerlerini içerecektir. Böylece, son birkaç ana bileşeni ortadan kaldırabilirsiniz, çünkü bunlar çok fazla veri kaybına neden olmaz ve verileri sıkıştırabilirsiniz. Sağ?$n$$p$$p$

Seyrek PCA, bu bileşenlerin vektör katsayılarında sıfır olmayan değerleri içerecek şekilde ana bileşenleri seçmektedir.

Bunun, verileri daha iyi yorumlamanıza nasıl yardımcı olması gerekir? Birisi bir örnek verebilir mi?

Seyrek PCA'nın yorumlanmasının standart PCA'dan daha kolay olup olmadığı, araştırmakta olduğunuz veri setine bağlıdır. Şöyle düşünüyorum: bazen bir PCA projeksiyonları (verinin düşük boyutlu gösterimi) ve bazen - ana eksenlerde daha çok ilgileniyor; sadece son durumda, seyrek PCA'nın yorumlama için herhangi bir faydası olabilir. Birkaç örnek vereyim.

Örneğin, sinirsel verilerle çalışıyorum (birçok nöronun eşzamanlı kayıtları) ve sinirsel popülasyon aktivitesinin düşük boyutlu bir gösterimini elde etmek için PCA ve / veya ilgili boyutsallık azaltma teknikleri kullanıyorum. 1000 nöronum olabilir (yani verilerim 1000 boyutlu alanda yaşıyor olabilir) ve bunu üç ana eksende yansıtmak isteyebilirim. Bu eksenlerin ne olduğu, benim için tamamen anlamsız ve bu eksenleri hiçbir şekilde "yorumlama" niyetim yok. İlgilendiğim, 3D projeksiyonu (faaliyet zamana bağlı olduğu için, bu 3B alanda bir yörünge elde ediyorum). Bu yüzden eğer her bir eksende 1000 sıfır olmayan katsayısı varsa, ben iyiyim.

Öte yandan, biri bireysel boyutların belirgin bir anlamı olduğu (yukarıda bireysel nöronların aksine) daha "somut" verilerle çalışıyor olabilir. Örneğin, boyutların ağırlıktan fiyata bir şey olduğu çeşitli araçların veri kümesi. Bu durumda kişi aslında ana eksen eksenleri ile ilgilenebilir, çünkü biri bir şeyler söylemek isteyebilir: bak, birinci eksen ekseni arabanın “fanteziliğine” karşılık gelir (şimdi bunu tamamen yapıyorum). İzdüşüm seyrekse, bu tür yorumlamalar genellikle daha kolay olacaktır, çünkü birçok değişken katsayıya sahip olacaktır ve bu nedenle açıkça bu eksen için önemsizdir. Standart PCA durumunda, biri tüm değişkenler için genellikle sıfır olmayan katsayıları alır.$0$

İkinci vaka ile ilgili daha fazla örnek ve tartışma için 2006 Sparse PCA makalesinde Zou ve ark. Eski ve son dava arasındaki fark, ancak, açıkça tartışılmış bir yerde görüşmedim (muhtemelen olmasına rağmen).

Böylece, son birkaç ana bileşeni ortadan kaldırabilirsiniz, çünkü bunlar çok fazla veri kaybına neden olmaz ve verileri sıkıştırabilirsiniz. Sağ?

Evet haklısın. Ve eğer değişkenleri o zaman Temel Bileşen , ve değişkenlerinin her biri bir bilgi (katkı) .$N$$V_1, V_2, \cdots , V_N$$N$$PC_1, PC_2, \cdots , PC_N$$V_i$$PC_i$

Seyrek bazı değişkenleri sıfır katsayılı değişkenleri .$PC_i$$V_j, V_l, \cdots$

Sonra, bir düzlemde , beklenenden daha az değişken varsa ( ), bu düzlemde aralarındaki doğrusal ilişkileri temizlemek daha kolaydır. $(PC_i, PC_{j})$$N$

PCA'daki seyrekliğin avantajlarını anlamak için, "yüklemeler" ve "değişkenler" arasındaki farkı bildiğinizden emin olmanız gerekir (bana bu isimler biraz keyfi ama bu önemli değil).

Diyelim ki bir nxp veri matrisi X , ki burada n örnek sayısıdır. X = USV ' nin SVD'si size üç matris verir. İlk iki Z = US'nin birleştirilmesi size Ana Bileşenler matrisini verir. Senin azaltılmış sıralaması diyelim k , o zaman Z ise nxk . Z aslında boyut küçültmeden sonra veri matrisinizdir. Tarihsel olarak,

Ana bileşenlerin (aka Z = US ) girişleri değişken olarak adlandırılır.

Öte yandan, V ( pxk olan ) Ana Yükleme Vektörlerini içerir ve girişleri ana yükleme olarak adlandırılır. PCA'nın özellikleri göz önüne alındığında, Z = XV olduğunu göstermek kolaydır . Bu şu demek:

Ana bileşenler, ana yüklerin veri matrisinizin X doğrusal bir kombinasyonunda katsayılar olarak kullanılmasıyla türetilir .

Şimdi bu tanımların dışında kaldığına göre, seyrekliğe bakacağız. Çoğu makale (ya da en azından karşılaştığım en fazla), asıl yüklemelere (aka V ) az miktarda baskı uygular . Seyreklik avantajı

seyrek V (orijinal gelen değişkenler hangi bize söyleyecek p boyutlu özellik alanı) tutmak değer vardır. Buna yorumlanabilirlik denir.

İnsanların "seyrek değişken PCA" "dediklerini gördüğüm Z girişlerinde seyrekliği sağlamak için yorumlar da var , ama bu çok daha az popüler ve dürüst olmak gerekirse, bu kadar düşünmedim.