PCA yapmadan önce yüksek oranda ilişkili değişkenleri kaldırmak gerekir mi?

PCA yapmadan önce diğer değişkenlerle yüksek korelasyon nedeniyle yazarın birkaç değişkeni attığı bir makale okuyorum. Toplam değişken sayısı yaklaşık 20'dir.

Bu herhangi bir fayda sağlıyor mu? PCA bunu otomatik olarak halletmesi gerektiği için bana yük gibi geliyor.

Bu, @ttnphns tarafından yapılan bir yorumda verilen anlayışlı ipucunu açıklar.

Neredeyse ilişkilendirilmiş değişkenlerin birleştirilmesi ortak temel faktörlerinin PCA'ya katkısını arttırır. Bunu geometrik olarak görebiliriz. Bu verileri, XY düzleminde, bir nokta bulutu olarak gösterilenleri göz önünde bulundurun:

Çok az korelasyon var, yaklaşık olarak eşit kovaryans var ve veriler ortalanıyor: PCA (nasıl yapıldığına bakılmaksızın) yaklaşık olarak iki eşit bileşeni rapor eder.

Şimdi üçüncü bir değişken atmak edelim eşit artı rasgele hatanın küçük bir miktarda. korelasyon matrisi bunu, ikinci ve üçüncü sıralar ve sütunlar ( ve ) arasındaki küçük diyagonal olmayan katsayılarla gösterir :Y, ( X , Y , Z ) Y, $Z$$Y$$(X,Y,Z)$$Y$$Z$

Geometrik olarak, tüm orijinal noktaları neredeyse dikey olarak değiştirdik, önceki resmi sayfanın düzleminden kaldırdık. Bu sözde 3B nokta bulutu, kaldırmayı yan perspektif görünümüyle (daha önce olduğu gibi üretilse de, farklı bir veri kümesine dayanarak) göstermeye çalışır:

Noktalar aslen mavi düzlemde bulunur ve kırmızı noktalara kaldırılır. Orijinal ekseni sağa işaret eder. Elde edilen eğim aynı zamanda YZ yönleri boyunca noktaları uzatır, böylece varyansa katkılarını ikiye katlar . Sonuç olarak, bu yeni verilerin bir PCA'sı hala iki ana ana bileşeni tanımlayacaktır, ancak şimdi bir tanesi diğerinin iki katı varyansına sahip olacaktır.$Y$

Bu geometrik beklenti, içindeki bazı simülasyonlarla ortaya çıkıyor R. Bunun için, ikinci değişkenin yakın kopyalarını ikinci, üçüncü, dördüncü ve beşinci kez, ile adlandırarak "kaldırma" prosedürünü tekrarladım . İşte bu son dört değişkenin nasıl iyi korelasyon gösterdiğini gösteren bir scatterplot matrisi:X $X_2$$X_5$

PCA korelasyonlar kullanılarak (bu veriler için gerçekten önemli olmasa da), ilk iki değişken, ardından üç, ... ve son olarak beş kullanılarak yapılır. Sonuçları, ana bileşenlerin toplam varyansa katkı paylarını çizerek gösteririm.

Başlangıçta, birbiriyle neredeyse hiç ilişkili olmayan iki değişkenle, katkılar neredeyse eşittir (sol üst köşe). İkincisi ile ilişkilendirilmiş bir değişken ekledikten sonra - aynen geometrik şekilde olduğu gibi - hala biri iki diğeri büyüklüğünde olan iki ana bileşen vardır. (Üçüncü bileşen mükemmel bir bağlantının bulunmadığını yansıtır, aynı 3D ScatterPlot içinde gözleme benzeri bulutun "kalınlığını" ölçer.) Başka bir korelasyon değişken (ekledikten sonra ), birinci bileşen şimdi toplamın yaklaşık dörtte üçü ise ; Beşinci bir eklendikten sonra, birinci bileşen toplamın yaklaşık beşte dördüdür. Dört vakanın hepsinde, ikinciden sonraki bileşenler çoğu PCA tanı prosedürüyle önemsiz sayılır; son durumda$X_4$dikkate değer bir temel bileşen.

Artık değişkenler koleksiyonunun aynı altta yatan (ancak "gizli") ölçümünü düşündüğü değişkenlerin atılmasının haklı olduğunu görebiliyoruz , çünkü neredeyse yedekli değişkenlerin dahil edilmesi PCA'nın katkılarını aşırı derecede vurgulamasına neden olabilir. Böyle bir prosedür hakkında matematiksel olarak doğru (veya yanlış) bir şey yoktur ; Verilerin analitik amaçlarına ve bilgilerine dayanan bir yargılama çağrısıdır. Ancak, açıkça açıkça belirtilmelidir ki , diğerleri ile güçlü bir şekilde ilişkili olduğu bilinen değişkenleri bir kenara koymak PCA sonuçları üzerinde önemli bir etkiye sahip olabilir.

İşte Rkod.

n.cases <- 240               # Number of points.
n.vars <- 4                  # Number of mutually correlated variables.
set.seed(26)                 # Make these results reproducible.
eps <- rnorm(n.vars, 0, 1/4) # Make "1/4" smaller to *increase* the correlations.
x <- matrix(rnorm(n.cases * (n.vars+2)), nrow=n.cases)
beta <- rbind(c(1,rep(0, n.vars)), c(0,rep(1, n.vars)), cbind(rep(0,n.vars), diag(eps)))
y <- x%*%beta                # The variables.
cor(y)                       # Verify their correlations are as intended.
plot(data.frame(y))          # Show the scatterplot matrix.

# Perform PCA on the first 2, 3, 4, ..., n.vars+1 variables.
p <- lapply(2:dim(beta)[2], function(k) prcomp(y[, 1:k], scale=TRUE))

# Print summaries and display plots.
tmp <- lapply(p, summary)
par(mfrow=c(2,2))
tmp <- lapply(p, plot)

Ben daha ileri edecek göstermek @whuber yaptığı gibi aynı süreci ve fikri ancak yükleme araziler, - yüklemeleri çünkü PCA derinliklerinden sonuçlanır.

$X_1$$X_2$$X_3$$X_2$$X_4$$X_5$

İlk 2 ana komponentin yüklerinin grafikleri daha sonra gider. Arazideki kırmızı ani değişkenler arasındaki korelasyonu söyler, böylece birkaç ani demet, sıkı sıkıya bağlı değişkenlerden oluşan bir kümenin bulunduğu yerdir. Bileşenler gri çizgilerdir; bir bileşenin nispi "kuvveti" (nispi özdeğer büyüklüğü) çizginin ağırlığına göre verilir.

"Kopya" eklemenin iki etkisi gözlemlenebilir:

1. Bileşen 1 daha da güçlenir ve bileşen 2 daha zayıf ve daha zayıf hale gelir.
2. $X_1$$X_2$$X_3$$X_2$

Ahlaki sürdürmeyeceğim çünkü @whuber zaten yaptı.

$r=0$$r=0.62$$r=0.77$

$X_1$$X_2$$r=0$ $X_1$$X_2$satırlar kendileri bileşenler olarak seçilebilirler.] Bir bileşenin üzerine veri noktalarının (200 özne) koordinatları bileşen puanlarıdır ve 200-1 ile ayrılmış kareler toplamı, bileşenin öz değeridir .

$r$$X_1$$X_2$(ancak 3. değişkeni eklemek her halükarda saptırabilir). Bir değişken vektör ile bir bileşen çizgisi arasındaki açı (kosinüs), aralarındaki korelasyondur ve vektörler birim uzunluk ve bileşenler dik olduğundan, bu, koordinatlardan başka bir şey değildir, yükleme . Bileşene karelenmiş yüklerin toplamı özdeğerdir ( bileşen, kendisini bu konudaki alanda maksimize edecek şekilde yönlendirir)

Addition2. Gelen İlavesi birlikte su ve yağ gibi uyumsuz sanki ben "değişken alanı" ve "özne alan" hakkında konuşuyordu yukarıda. Bunu tekrar düşünmem gerekiyordu ve şunu söyleyebilirim - en azından PCA hakkında konuştuğumuzda - sonuçta her iki alan da izomorfiktir ve bu sayede tüm PCA ayrıntılarını doğru bir şekilde gösterebiliriz - veri noktaları, değişken eksenler, bileşen eksenleri, değişkenler gibi Puan, - tek bir bozulmamış çift çubuk üzerinde.

Aşağıda saçılma grafiği (değişken alan) ve yükleme grafiği (genetik kökeni tarafından konu alanı olan bileşen alanı) bulunmaktadır. Birinde gösterilebilecek her şey, diğerinde de gösterilebilir. Resimler aynıdır , sadece birbirine göre 45 derece döndürülür (ve bu özel durumda yansıtılır). Bu, v1 ve v2 değişkenlerinin bir PCA'sıydı (standartlaştırıldı, böylece analiz edildi r ). Resimlerdeki siyah çizgiler eksen olarak değişkenlerdir; yeşil / sarı çizgiler eksen olarak bileşenlerdir; mavi noktalar veri bulutu (konular); kırmızı noktalar, nokta olarak gösterilen değişkenlerdir (vektörler).

Makalenizden ayrıntılar olmadan, yüksek korelasyonlu değişkenlerin bu atılmasının yalnızca hesaplama gücünden veya iş yükünden tasarruf etmek için yapıldığı kanısındayım. PCA'nın yüksek derecede ilişkili değişkenler için neden 'kırılmasının' bir nedeni göremiyorum. Verileri PCA tarafından bulunan bazlara geri yansıtmak, verilerin beyazlaştırılmasını, (ya da ilişkisini kaldırarak) etkiye sahiptir. PCA'nın arkasındaki bütün mesele bu.

Anladığım kadarıyla korelasyon değişkenleri tamam, çünkü PCA ortogonal olan vektörleri çıkarır.

Bu, algoritmanıza bağlı. Yüksek derecede ilişkili değişkenler, koşulsuz bir matris anlamına gelebilir. Buna duyarlı bir algoritma kullanırsanız, mantıklı olabilir. Ancak, özdeğerleri ve özvektörleri ayırmak için kullanılan modern algoritmaların çoğunun buna sağlam olduğunu söylemeye cüret ediyorum. Yüksek derecede ilişkili değişkenleri kaldırmayı deneyin. Özdeğerler ve özvektör çok fazla değişiyor mu? Onlar yaparlarsa, o zaman kötü klima cevap olabilir. Yüksek derecede ilişkili değişkenler bilgi eklemediğinden, PCA ayrıştırması değişmemelidir

Hangi prensip bileşen seçim yöntemini kullandığınıza bağlı değil mi?

Herhangi bir prensip bileşenini özdeğer> 1 olan bir kullanma eğilimindeyim. Bu yüzden beni etkilemeyecekti.

Ve yukarıdaki örneklerden, kayşat arsa yöntemi bile genellikle doğru olanı seçer. ELBOW'DAN ÖNCE HER ŞEYİ TUTMAK durumunda. Bununla birlikte, basitçe 'baskın' özdeğer ile temel bileşeni seçtiyseniz, yoldan sapmış olursunuz. Ama bu kaygan bir arsa kullanmanın doğru yolu değil!