Korelasyonda veya kovaryansta PCA: Korelasyonda PCA hiç mantıklı geliyor mu? [kapalı]

Temel bileşen analizinde (PCA), bileşenleri bulmak için kovaryans matrisi veya korelasyon matrisi seçilebilir (ilgili özvektörlerinden). Bunlar farklı sonuçlar verir (PC yüklemeleri ve puanları), çünkü her iki matris arasındaki özvektörler eşit değildir. Benim anladığım şey, bunun bir ham veri vektörünün ve onun standart hale getirilmesinin ortogonal bir dönüşümle ilişkilendirilemeyeceği gerçeğinden kaynaklanmaktadır . Matematiksel olarak, benzer matrisler (yani dikgen dönüşümle ilişkili) aynı özdeğerlere sahiptir, ancak aynı özvektörleri gerektirmez.$X$$Z$

Bu aklımda bazı zorluklar doğuruyor:

1. Aynı başlangıç ​​veri seti için iki farklı cevap alabiliyorsanız, her ikisi de aynı şeyi başarmaya çalışırken (= maksimum varyans yönlerini bulma) PCA gerçekten mantıklı geliyor mu?

2. Korelasyon matrisi yaklaşımı kullanılırken, PC'leri hesaplamadan önce her değişken kendi bireysel standart sapması ile standartlaştırılır (ölçeklenir). Öyleyse, eğer veriler önceden ölçeklendirilmiş / önceden sıkıştırılmışsa, maksimum varyansın yönünü bulmak nasıl mantıklı geliyor? Korelasyon temelli PCA'nın çok uygun olduğunu biliyorum (standart değişkenler boyutsuzdur, bu yüzden onların doğrusal kombinasyonları eklenebilir; diğer avantajlar da pragmatizme dayanır), ama doğru mu?

Bana göre, kovaryansa dayalı PCA'nın gerçek anlamda tek doğru olanı olduğu (değişkenlerin farklılıkları büyük ölçüde farklılık gösterdiğinde bile) ve bu sürüm ne zaman kullanılamıyorsa, korelasyon tabanlı PCA'nın da kullanılmaması gerekiyor.

Bu konu olduğunu biliyorum: PCA korelasyon veya kovaryans? - fakat sadece cebirsel olarak doğru olan veya olmayabilir pragmatik bir çözüm bulmaya odaklanıyor gibi görünüyor.

Umarım iki sorunuza vereceğiniz cevaplar endişelerinizi yatıştırır:

1. Bir korelasyon matrisi , standartlaştırılmış (yani sadece merkezlenmiş değil, aynı zamanda ölçeklendirilmiş) verilerin kovaryans matrisidir; yani, başka , farklı bir veri kümesinin bir kovaryans matrisi (sanki) . Bu yüzden doğal ve sonuçların farklı olması sizi rahatsız etmemelidir.
2. Evet, standartlaştırılmış verilerle maksimum varyansın yönünü bulmak mantıklıdır; yani, eşit olmayan değişkenlerin - orijinal değişkenlerin - çok değişkenli veri bulutunun şekli üzerindeki etkisinden sonra çıkarıldı.

Sonraki metin ve @whuber tarafından eklenen resimler (Ona teşekkür ediyorum. Ayrıca, yorumumu aşağıya bakın)

İşte standart hale getirilmiş verilerin ana eksenlerini belirlemenin neden sağda olduğunu hala gösteren iki boyutlu bir örnek (sağda gösterilmiştir). Sağdaki arsada, koordinat eksenleri arasındaki farklılıklar şimdi tam olarak eşit (1.0'a eşit) olmasına rağmen bulutun hala bir "şekli" olduğuna dikkat edin. Benzer şekilde, daha yüksek boyutlarda, standartlaştırılmış nokta bulutu tüm eksenler arasındaki farklılıklar tam olarak eşit olsa bile (1.0'a) küresel olmayan bir şekle sahip olacaktır. Ana eksenler (karşılık gelen özdeğerleriyle) bu şekli tanımlar. Bunu anlamanın bir başka yolu da değişkenleri standardize ederken devam eden tüm yeniden ölçeklendirme ve kaymanın asıl yönlerde değil , sadece koordinat eksenlerinin yönlerinde meydana geldiğine dikkat etmektir .

Burada olan, geometrik olarak o kadar sezgisel ve açıktır ki, bunu bir "kara kutu operasyonu" olarak nitelendirmenin bir gerginliği olur: aksine, standardizasyon ve PCA sırayla verilerle yaptığımız en temel ve rutin şeylerden bazılarıdır. onları anlamak için.

@Ttnphns tarafından devam edildi

Kişi ne zaman kovaryanslar (yani merkezlenmiş değişkenler üzerinde) yerine korelasyonlar (yani z standardize edilmiş değişkenler üzerinde ) üzerinde PCA'yı (veya faktör analizi veya diğer benzer analiz türlerini ) yapmayı tercih eder ?

1. Değişkenlerin farklı ölçü birimleri olduğunda. Bu açık.
2. Biri analizin sadece ve sadece doğrusal dernekleri yansıtmasını istediğinde . Pearson r sadece ölçeklendirilmemiş (varyans = 1) değişkenler arasındaki kovaryans değildir; aniden doğrusal ilişkinin kuvvetinin ölçüsüdür, normal kovaryans katsayısı ise hem doğrusal hem de monotonik ilişkilere açıktır.
3. Biri derneklerin ham ortak sapkınlıktan ziyade göreceli ortak sapkınlığı (ortalamadan) yansıtmasını istediğinde . Korelasyon orijinal ölçüm ölçeğine dayanırken korelasyon dağılımları, yayılımlarını temel alır. Hastaların psikiyatristlerin değerlendirdiği psikopatolojik profillerini Likert tipi maddelerden oluşan bazı klinik anketler üzerinde faktör analizi yapmam gerekirse, kovaryansları tercih ederim. Çünkü profesyonellerin derecelendirme ölçeğini intrapsişik olarak çarpıtması beklenmemektedir. Öte yandan, hastaların kendi portrelerini aynı anketle analiz etseydim, muhtemelen korelasyonları seçerdim. Layman'ın değerlendirmesinin göreceli "diğer insanlar", "çoğunluk" "izin verilen sapma" olması bekleniyor. Biri için derecelendirme ölçeğini "daraltan" veya "genişleten" büyüteç.

Uygulamalı bir bakış açısıyla konuşma - muhtemelen burada popüler değil - eğer farklı ölçeklerde ölçülen verileriniz varsa, o zaman korelasyona devam edin (eğer bir kemometrik olursanız 'UV ölçeklendirme'), ancak değişkenler aynı ölçekte ise ve bunların büyüklüğü önemliyse (örneğin, spektroskopik verilerle), sonra kovaryans (sadece verileri merkezleyen) daha mantıklı olur. PCA, ölçeğe bağlı bir yöntemdir ve aynı zamanda log dönüşümü yüksek oranda eğri verilere yardımcı olabilir.

20 yıllık pratik kemometri uygulamalarına dayanan alçakgönüllü görüşüme göre, biraz deney yapmalı ve veri türünüz için en iyi olanı görmelisiniz. Günün sonunda, sonuçlarınızı tekrar üretebilmeniz ve sonuçlarınızın öngörülebilirliğini kanıtlamaya çalışmanız gerekir. Oraya nasıl ulaşırsınız, genellikle bir deneme yanılma durumu vardır, ancak önemli olan, yaptığınız şeyin belgelenmiş ve yeniden üretilebilir olmasıdır.

Tarif ettiğim deneyin ayrıntılı ve teknik yönlerinin daha ayrıntılı bir tanımına girmeye vaktim yok ve kelimeler (öneri, performans, optimum) açıklamaları yine bizi ne tür girdi verisiyle ilgili olan gerçek sorundan uzaklaştıracaktır. PCA alabilir (almamalı) / almamalı (almamalı). PCA, sayıların doğrusal kombinasyonlarını alarak çalışır (değişkenlerin değerleri). Matematiksel olarak, elbette, herhangi iki (gerçek veya karmaşık) sayı eklenebilir. Fakat eğer PCA dönüşümünden önce yeniden ölçeklendirildiyse, lineer kombinasyonları (ve dolayısıyla maksimizasyon süreci) hala üzerinde çalışmak anlamlıdır mı? Eğer her değişken$x_i$ aynı varyansa sahip $s^2$açıkça o zaman evet, çünkü $(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$ hala orantılıdır ve verilerin fiziksel olarak konumlandırılması ile karşılaştırılabilir. $x_1+x_2$kendisi. Ama eğer$s_1\not =s_2$daha sonra standartlaştırılmış büyüklüklerin doğrusal kombinasyonu girdi değişkenlerinin verilerini farklılaştırırderece. Doğrusal kombinasyonlarının varyansını maksimize etmek için çok az nokta var. Bu durumda, PCA her bir değişkenin farklı şekilde ölçeklendiği farklı bir veri kümesi için bir çözüm sunar. Daha sonra daha sonra standartlaşmamışsanız (corr_PCA kullanırken), bu Tamam ve gerekli olabilir; fakat sadece raw corr_PCA çözümünü olduğu gibi alır ve orada durursanız, matematiksel bir çözüm elde edersiniz, ancak fiziksel verilere ilişkin bir çözüm bulamazsınız. Daha sonra standardizasyonun ardından asgari olarak zorunlu göründüğü için (yani, ters standart sapmalarla eksenleri 'gerdirerek'), cov_PCA başlamak için kullanılmış olabilir. Şimdiye kadar hala okuyorsanız, ben etkilendim! Şimdilik, Jolliffe'nin kitabından alıntı yaparak bitirdim, s. 42, beni ilgilendiren bölüm:Bununla birlikte, orjinal değişkenler açısından yeniden ifade edildiğinde, korelasyon matrisi PC'lerinin, standart değişkenlere göre varyansı maksimize eden ve orijinal değişkenlere göre değil, x'in doğrusal işlevleri olduğu unutulmamalıdır. ' Bunu veya sonuçlarını yanlış yorumladığımı düşünüyorsanız, bu alıntı daha fazla tartışma için iyi bir odak noktası olabilir.