PCA'nın bir sınıflandırıcının sonuçlarını kötüleştirmesine ne sebep olabilir?

En iyi özellik kombinasyonlarını bulmak için ileriye doğru seçim yaptığım yüzlerce özellik ile birlikte çapraz doğrulama yaptığım bir sınıflandırıcı var. Bunu, PCA ile aynı deneyleri çalıştırmayla karşılaştırıyorum, burada potansiyel özellikleri alıyorum, SVD uyguladım, orijinal sinyalleri yeni koordinat alanına dönüştürüyorum ve ileri seçim en iyi özelliklerini kullanıyorum .$k$

Sezgim, PCA'nın, sonuçları orijinal özelliklerden daha "bilgilendirici" olacağı için sonuçları iyileştirmesiydi. PCA hakkındaki saf anlayışım beni belaya sokuyor mu? PCA'nın bazı durumlarda sonuçları iyileştirmesi için ortak nedenlerden bazılarını önerebilir, ancak diğerlerinde daha kötü hale getirebilir mi?

“Regresyonda Temel Bileşenlerin Kullanımı Üzerine Bir Not” başlıklı müthiş ve değer biçilmemiş bir makaleden kaldırılmış basit bir durum düşünün .

Eğer sadece varsayalım iki (ölçekli ve de-meaned), bunları ifade özellikleri ve pozitif korelasyon hizalanmış 0.5, eşit ve üçüncü yanıt değişkeni sınıflayabilirsiniz istiyoruz. Diyelim ki sınıflandırılması$x_1$$x_2$$X$$Y$$Y$ tamamen işareti ile belirlendiğini .$x_1 - x_2$

üzerinde PCA uygulanması, Var ( x 1 + x 2 ) = 1 + 1 + 2 ρ > Var ( x 1 - 'den beri yeni (varyansa göre sıralanmış) özelliklere sahiptir [ x 1 + x 2 , x 1 - x 2 ]. x 2 ) = 2 - 2 $X$$[x_1 + x_2, x_1 - x_2]$$\operatorname{Var}( x_1 + x_2 ) = 1 + 1 + 2\rho > \operatorname{Var}(x_1 - x_2 ) = 2 - 2\rho$. Bu nedenle, boyutunuzu 1'e, yani ilk ana bileşene düşürürseniz, sınıflandırma için kesin çözümü atıyorsunuzdur!

PCA agnostik olduğu için sorun oluşur . Ne yazık ki, birisi PCA'ya Y içeremez , çünkü bu veri sızıntısına neden olur.$Y$$Y$

Veri sızıntısı, matrisiniz söz konusu hedef belirleyicileri kullanarak oluşturulduğunda, bu nedenle örneklem dışında tahmin yapmak imkansız olacaktır.$X$

Örneğin: finansal zaman serilerinde, EST’de saat 11: 00’de meydana gelen Avrupa’nın gün sonu kapanışını tahmin etmeye çalışmak, ABD’nin gün sonu kapanışlarını kullanarak, EST’den saat 16: 00’da, ABD’nin kapanmasından bu yana veri sızıntısı olduğunu gösteriyor. saatler sonra gerçekleşen Avrupa kapanış fiyatlarını da dahil etti.

Basit bir geometrik açıklama var. Aşağıdaki örneği R'de deneyin ve ilk ana bileşenin varyansı maksimize ettiğini hatırlayın.

library(ggplot2)

n <- 400
z <- matrix(rnorm(n * 2), nrow = n, ncol = 2)
y <- sample(c(-1,1), size = n, replace = TRUE)

# PCA helps
df.good <- data.frame(
    y = as.factor(y), 
    x = z + tcrossprod(y, c(10, 0))
)
qplot(x.1, x.2, data = df.good, color = y) + coord_equal()

# PCA hurts
df.bad <- data.frame(
    y = as.factor(y), 
    x = z %*% diag(c(10, 1), 2, 2) + tcrossprod(y, c(0, 8))
)
qplot(x.1, x.2, data = df.bad, color = y) + coord_equal()

PCA Yardımlar

Maksimum varyansın yönü yataydır ve sınıflar yatay olarak ayrılmıştır.

PCA Acıyor

Maksimum varyansın yönü yataydır, ancak sınıflar dikey olarak ayrılır.

PCA doğrusaldır, Doğrusal olmayan bağımlılıkları görmek istediğinizde acı verir.

PCA, vektörler olarak görüntüler üzerinde:

Doğrusal olmayan bir algoritma (NLDR) görüntüleri 2 boyuta indirgeyen, döndüren ve ölçeklendiren:

Daha fazla bilgi: http://en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction

Ben soru zaten kabul edilen bir cevabı vardır ama bu paylaşmak istedim bakın kağıdı bu konuda görüşmeler sınıflandırma önce özellik dönüşüm için PCA kullanarak .

Eve dönüş mesajı (@ vqv'ın cevabında güzelce görselleştirilmiştir):

Temel Bileşen Analizi (PCA), verilerin en yüksek değişkenliği gösterdiği eksenleri çıkarmaya dayanır. Her ne kadar PCA, verileri yeni bazda “yayıyor” ve denetimsiz öğrenmede çok yardımcı olabilse de, yeni eksenlerin (denetimli) bir sınıflandırma probleminde ayrımcı özelliklerle tutarlı olacağının garantisi yoktur.

İlgilenenler için, Bölüm 4'e bakarsanız, Deneysel sonuçlar , sınıflandırma hassasiyetlerini 1) orijinal featuerler, 2) PCA'nın dönüştürdüğü özellikler ve 3) her ikisinin birleşimi ile karşılaştırarak benim için yeni bir şeydi.

Benim sonucum:

PCA tabanlı özellik dönüşümleri, çok sayıda özellikten gelen bilgileri sınırlı sayıda bileşene, yani orijinal özelliklerin doğrusal kombinasyonlarına özetlemeye izin verir. Bununla birlikte, temel bileşenlerin yorumlanması çoğu zaman zordur (sezgisel değildir) ve bu makaledeki deneysel sonuçların genellikle sınıflandırma performansını iyileştirmediğini göstermesi nedeniyle.

Not: Listelenen makalenin sınırlamalarından birinin, yazarların sınıflandırıcıların sadece 'tahakkuk' için sınırlı performans değerlendirmesini yaptıklarını ve bunun çok taraflı bir performans göstergesi olabileceğini unutmayın.

$x_1,x_2,x_3$$y$$x_3=y$

$y$$x_3$

$x_1$$x_2$$x_3$$y$