K-ortalama kümeleme ve PCA arasındaki ilişki nedir?

Kümeleme algoritmasından önce (k-aracı gibi) PCA'yı (temel bileşen analizi) uygulamak yaygın bir uygulamadır. Uygulamada kümelenme sonuçlarını iyileştirdiğine inanılmaktadır (gürültü azaltma).

Bununla birlikte, PCA ile k-aracı arasındaki ilişkinin karşılaştırmalı ve derinlemesine çalışılmasıyla ilgileniyorum. Örneğin, Chris Ding ve Xiaofeng He, 2004, K-anlamına gelir Ana Bileşen Analizi ile Kümeleme , "temel bileşenlerin K-aracı kümeleme için ayrık küme üyeliği göstergelerine sürekli çözümler" olduğunu gösterdi. Ancak, bu makaleyi anlamakta zorlanıyorum ve Wikipedia aslında yanlış olduğunu iddia ediyor .

Ayrıca, iki yöntemin sonuçları, PCA'nın varyansı korurken "özellik" sayısını azaltmaya yardımcı olması bakımından biraz farklıdır; oysa kümeleme, birkaç noktayı beklentileri / araçlarıyla özetleyerek "veri noktaları" sayısını azaltır. (k-aracı durumunda). Dolayısıyla, veri kümesi her biri T özellikli $N$ noktalarından oluşuyorsa , PCA, T özelliklerini sıkıştırmayı hedeflerken, kümeleme N veri noktalarını sıkıştırmayı amaçlamaktadır .$T$$T$$N$

Bu iki teknik arasındaki ilişkilerin ve bu iki teknikle ilgili bazı teknik makalelerin daha ayrıntılı bir açıklamasını arıyorum.

K-aracı kümelemesinin ve PCA'nın çok farklı hedeflere sahip olduğu ve ilk bakışta birbiriyle ilişkili görünmediği doğru. Bununla birlikte, Ding & He 2004 makalesinde açıklandığı gibi K-Temel Bileşen Analizi ile Kümeleme anlamına gelir , aralarında derin bir bağlantı vardır.

Sezgi, PCA'nın tüm veri vektörlerini az sayıda özvektörün lineer kombinasyonları olarak temsil etmeye çalıştığını ve ortalama kare rekonstrüksiyon hatasını minimize etmek için yaptığıdır. Buna karşılık K-aracı, tüm n veri vektörlerini az sayıdaki küme centroidleri aracılığıyla temsil etmeyi, yani bunları, tek bir 1 hariç, lineer kombinasyon ağırlıklarının tamamen sıfır olması gereken az sayıdaki küme centroid vektörünün doğrusal kombinasyonları olarak göstermeyi amaçlamaktadır . Bu, ortalama kare rekonstrüksiyon hatasını en aza indirmek için de yapılır.$n$$n$$1$

K-aracı süper seyrek bir PCA olarak görülebilir.

Ding & He yazdıklarında, bu bağlantıyı daha kesin yapmak için.

$(K-1)$

$K-1$

$K=2$

Bu ya bir hata ya da özensiz bir yazıdır; Her durumda, kelimenin tam anlamıyla ele alındığında, bu belirli iddia yanlıştır.

$K=2$$100$

Bir açıkça sınıf sentroidler ilk PC yönüne oldukça yakın olma eğilimi olsa da, bunlar yok olduğunu görebilirsiniz değil tam üzerine düşer. Dahası, PC2 ekseni kümeler 1 ve 4 alt noktalarında mükemmel bir şekilde ayrılsa da, alt ve 2 alt noktalarında yanlış tarafında birkaç nokta vardır.

Yani K-aracı ve PCA arasındaki anlaşma oldukça iyi, ama kesin değil.

$K=2$$n_1$$n_2$$n=n_1+n_2$ $\mathbf q\in\mathbb R^n$$q_i = \sqrt{n_2/nn_1}$$i$$q_i = -\sqrt{n_1/nn_2}$$\|\mathbf q\| = 1$$\sum q_i = 0$

Ding & K-kayıp fonksiyonu (K-algoritması en aza indirir) eşittir olarak yazılabilir. , burada , Tüm skaler ürünlerin gram matrisi: , burada , veri matrisi ve , merkezlenmiş veri matrisidir.$\sum_k \sum_i (\mathbf x_i - \boldsymbol \mu_k)^2$$-\mathbf q^\top \mathbf G \mathbf q$$\mathbf G$$n\times n$$\mathbf G = \mathbf X_c^\top \mathbf X_c$$\mathbf X$$n\times 2$$\mathbf X_c$

(Not: Makalelerinden biraz farklı olan ancak daha net buluyorum bir gösterim ve terminoloji kullanıyorum).

Yani K-kelimesi çözümü , maksimize eden bir merkezli vektördür . İlk ana bileşen (kareler birimi toplamı için normalize edildiğinde her) Gram matrisinin gelen özvektörü örneğin, aynı zamanda bir merkezli birim vektör olduğunu göstermek kolaydır maksimize . Tek fark, ek olarak sadece iki farklı değere sahip olmakla oysa bu kısıtlamaya sahip değildir.$\mathbf q$$\mathbf q^\top \mathbf G \mathbf q$$\mathbf p$$\mathbf p^\top \mathbf G \mathbf p$$\mathbf q$$\mathbf p$

Başka bir deyişle, K-araçları ve PCA aynı objektif işlevi en üst düzeye çıkarır ; tek fark, K-aracının ek "kategorik" kısıtlamaya sahip olmasıdır.

K-araçlarının (kısıtlı) ve PCA (kısıtlanmamış) çözümlerinin çoğu zaman simülasyonda gördüğümüz gibi birbirlerine yakın olması gerekeceği, ancak bunların aynı olmasını beklememesi gerektiği aklına gelir. Alarak ve tüm negatif ayarlama elemanları eşit olacak şekilde ve tüm pozitif elemanları genel olarak uygulanan değil tam olarak vermek .$\mathbf p$$-\sqrt{n_1/nn_2}$$\sqrt{n_2/nn_1}$$\mathbf q$

Ding & He bunu iyi anlamış görünüyor çünkü teoremlerini aşağıdaki gibi formüle ediyorlar:

Teorem 2.2. olduğunda kümeleme için, küme gösterge vektörünün sürekli çözümü [birinci] ana bileşendir.$K= 2$

"Sürekli çözüm" kelimelerine dikkat edin. Bu teoremi ispatladıktan sonra, PCA'nın, yakın olmasını beklediğimizden tam anlam ifade eden K-aracı yinelemelerini başlatmak için kullanılabileceğini de . Fakat birisinin yinelemeleri yapması gerekiyor, çünkü bunlar aynı değil.$\mathbf q$$\mathbf p$

Ancak, Ding & He daha sonra için daha genel bir tedavi geliştirmeye devam etti ve Teorem 3.3’ü formül olarak formüle etti.$K>2$

Teorem 3.3. Küme centroid alt alanı ilk ana yönleri ile kaplıdır [...].$K-1$

Bölüm 3'ün matematiğinden geçmedim, ancak bu teoremin aslında K-araçlarının "sürekli çözümünü" de ifade ettiğini düşünüyorum, yani ifadesinin K-araçlarının sürekli çözümünün küme centroid alanını okuması gerektiğini " yayılmış [...] ".

Ding & He, ancak, bu önemli niteliği yapmaz ve ayrıca onların özeti

Burada temel bileşenlerin K-aracı kümelenmesi için ayrık küme üyeliği göstergelerine sürekli çözümler olduğunu kanıtlıyoruz. Aynı şekilde, küme centroidleri tarafından yayılan alt uzayın terimlerinde kesilmiş veri kovaryansı matrisinin spektral genişlemesi ile verildiğini gösterdik .$K-1$

İlk cümle kesinlikle doğru, ama ikinci cümle değil. Bu (çok) özensiz bir yazı ya da gerçek bir hata olup olmadığı bana açık değil. Her iki yazara da açıklama yapmak için kibarca e-posta gönderdim. (İki ay sonra güncelleme: Onlardan hiç haber alamadım.)

Matlab simülasyon kodu

figure('Position', [100 100 1200 600])

n = 50;
Sigma = [2 1.8; 1.8 2];

for i=1:4
    means = [0 0; i*2 0];

    rng(42)
    X = [bsxfun(@plus, means(1,:), randn(n,2) * chol(Sigma)); ...
         bsxfun(@plus, means(2,:), randn(n,2) * chol(Sigma))];
    X = bsxfun(@minus, X, mean(X));
    [U,S,V] = svd(X,0);
    [ind, centroids] = kmeans(X,2, 'Replicates', 100);

    subplot(2,4,i)
    scatter(X(:,1), X(:,2), [], [0 0 0])

    subplot(2,4,i+4)
    hold on
    scatter(X(ind==1,1), X(ind==1,2), [], [1 0 0])
    scatter(X(ind==2,1), X(ind==2,2), [], [0 0 1])
    plot([-1 1]*10*V(1,1), [-1 1]*10*V(2,1), 'k', 'LineWidth', 2)
    plot(centroids(1,1), centroids(1,2), 'w+', 'MarkerSize', 15, 'LineWidth', 4)
    plot(centroids(1,1), centroids(1,2), 'k+', 'MarkerSize', 10, 'LineWidth', 2)
    plot(centroids(2,1), centroids(2,2), 'w+', 'MarkerSize', 15, 'LineWidth', 4)
    plot(centroids(2,1), centroids(2,2), 'k+', 'MarkerSize', 10, 'LineWidth', 2)

    plot([-1 1]*5*V(1,2), [-1 1]*5*V(2,2), 'k--')
end

for i=1:8
    subplot(2,4,i)
    axis([-8 8 -8 8])
    axis square
    set(gca,'xtick',[],'ytick',[])
end    

PCA ve K araçları farklı şeyler yapar.

PCA, boyutluluk azaltma / özellik seçimi / temsil öğrenimi için kullanılır, örneğin özellik alanı çok fazla alakasız veya gereksiz özellik içerdiğinde. Amaç, verinin içsel boyutluluğunu bulmaktır.

İşte daha yüksek boyutlu uzaylara genelleştirilebilecek iki boyutlu bir örnek. Veri kümesi iki özelliğe sahiptir, ve , her daire bir veri noktasıdır.$x$$y$

Görüntü olarak daha büyük büyüklüğe sahiptir . Bunlar özvektörlerdir. Verinin boyutu iki boyuttan bir boyuta indirgenir (bu durumda çok fazla seçenek yoktur) ve bu vektörünün yönüne yansıtılarak yapılır ( eksenlerden birine paralel ya da dik olduğu bir dönüşün ardından ) . Bunun nedeni büyük Varyans yönüne diktir. Bunu düşünmenin bir yolu, minimal bilgi kaybı. (Bir koordinat ekseni kaybolduğu için hala bir kayıp var).$v1$$v2$$v2$$v2$$v2$

K-aracı, benzerliklerine dayanarak veri noktalarının doğal gruplandırmasını döndüren bir kümeleme algoritmasıdır. Bu bir var Gauss Karışım Modelleri özel bir durum .

Veri setinin altındaki resimde üç boyutludur. Soldaki 3B çizimden boyutunun fazla bilgi kaybetmeden 'düşürülebildiği' görülebilir. PCA, verileri iki boyuta yansıtmak için kullanılır. Soldaki şekilde projeksiyon düzlemi de gösterilmiştir. Ardından, yansıtılan verilerde, farklı grupları etiketlemek için sağdaki şekilde farklı renklerle kodlanmış K-araçları kullanılabilir.$X$

PCA veya diğer boyutsallık azaltma teknikleri, makine öğreniminde denetlenmeyen veya denetlenen yöntemlerden önce kullanılır. Sizde belirtilen nedenlere ve yukarıda bahsettiğim nedenlere ek olarak, görselleştirme amacıyla da kullanılır (daha yüksek boyutlardan 2D veya 3D'ye yansıtma).

Makaleye göre, herhangi bir bağlantı olduğuna inanmıyorum, PCA, verilerin doğal gruplandırılması hakkında hiçbir bilgiye sahip değil ve tüm alt gruplarda (gruplar) değil tüm veriler üzerinde çalışıyor. Bazı gruplar bir özvektör tarafından açıklanabilirse (sadece bu belirli kümenin o yöne yayılmış olması nedeniyle) sadece bir tesadüftür ve genel bir kural olarak alınmamalıdır.

“PCA, T özelliklerini sıkıştırmayı hedeflerken, kümeleme, N veri noktalarını sıkıştırmayı hedefliyor.”

Gerçekten de, sıkıştırma PCA hakkında düşünmenin sezgisel bir yoludur. Bununla birlikte, K-aracında, kümeyi göreceli olarak her noktayı tanımlamak için yine de en azından aynı miktarda bilgiye (örneğin, boyutlar) ; burada , mesafe ve depolanır yerine . Ayrıca deltanın olduğunu bilmek için da saklamanız gerekir . Elbette ve saklayabilirsiniz, ancak verilerdeki gerçek bilgiyi alamazsınız.$x_i = d( \mu_i, \delta_i)$$d$$\delta_i$$x_i$$\mu_i$$d$$i$

Kümeleme gerçekten bilgi ekler. Verileri, her bir grubun etiketinin ne anlama geldiğini (gruplar içindeki verilere bakana kadar) bilmeden doğal gruplara (zorunlu olarak ayrılmaları gerekmeyen) bölmek olarak düşünüyorum.

K-araçlarını kullanmadan önce verileri beyazlatmak yaygındır . Bunun nedeni, k-araçlarının ölçeğe karşı son derece hassas olmasıdır ve karma niteliklere sahip olduğunuzda artık "gerçek" bir ölçek yoktur. O zaman verilerinizi normalleştirmeniz, standartlaştırmanız veya beyazlatmanız gerekir. Hiçbiri mükemmel değildir, ancak beyazlatma bazen daha iyi sonuçlar verebilecek küresel korelasyonu ortadan kaldıracaktır . PCA / beyazlatma, kovaryans matrisinde çalıştığınızdan .$O(n\cdot d^2 + d^3)$

Anladığım kadarıyla, k-araçlarının PCA ile ilişkisi orijinal veriler üzerinde değildir . Uzaklık matrisinde PCA kullanmak ( girişi olan ve tam PCA yapmak, bu nedenle - yani, özellikle de buradaki , yalnızca büyük terimdir) ve belki de sadece . K-aracı en küçük kareler optimizasyon problemidir, PCA da öyle. k-aracı, verinin en küçük kareler bölümünü bulmaya çalışır. PCA en küçük kareler küme üyelik vektörünü bulur.$n^2$$O(n^2\cdot d+n^3)$$O(k\cdot n \cdot i\cdot d)$$n$$k=2$

İlk Eigenvector en büyük varyansa sahiptir, bu nedenle bu vektöre bölmek (küme üyeliğine benzer, giriş veri koordinatlarına değil!) Küme varyansı arasında maksimize etmek demektir . Küme varyansı arasında en üst düzeye çıkarak, küme içindeki varyansı da en aza indirirsiniz.

Ancak gerçek sorunlar için bu işe yaramaz. Bu sadece teorik ilgi alanıdır.

K-araçlarının O (k / epsilon) düşük dereceli yaklaşımıyla çözülmesi (yani, PCA'da olduğu gibi en büyük ilk tekil vektörlerin açıklığına yansıması) çarpma hatası açısından bir (1 + epsilon) yaklaşımı verecektir.

Özellikle, en büyük vektör üzerinde projelendirme 2-yaklaşımı verir.

Aslında, herhangi bir k merkezi seti için kare uzaklıkların toplamına bu projeksiyon ile yaklaşılabilir. Daha sonra girişi bu toplamın yaklaşıkına yakın olan poli (k / eps) noktalarına düşürmek için indirgenmiş veri üzerinde çekirdeği hesaplayabiliriz.

Bakınız: Dan Feldman, Melanie Schmidt, Christian Sohler: Büyük verileri minik verilere dönüştürmek: k-aracı, PCA ve projektif kümeleme için sabit boyutlu çekirdekler. SODA 2013: 1434-1453

PCA ve KMeans'ın sezgisel ilişkisi

1. Teorik olarak PCA boyutlu analiz (varyansın% 90'ını koruyan ilk K boyutu… K Keans anlamına gelirken doğrudan ilişkiye ihtiyaç duymazlar), ancak PCA kullanmanın değeri a) nesnelerin doğası göz önüne alındığında Analiz ettik, doğal olarak kümelenme eğilimlerini temel bileşenlerinden (yaş, cinsiyet ..) (belirli bir bölümünden) evrimleşme eğilimi b) PCA düşük varyans boyutunu (gürültü) ortadan kaldırıyor, bu yüzden kendisi değer katıyor (ve kümelemeye benzer bir his oluşturuyor) ) Bu kilit boyuta odaklanarak Basit terimlerle, XY ekseni gibidir, soyut matematiksel kavramlarda ustalaşmamıza yardımcı olur, ancak daha ileri bir şekilde.

2. K, belirli bir K için küme içindeki toplam mesafeyi en aza indirmeye çalışır.

3. N boyut parametresi olan bir nesne kümesi için, varsayılan olarak benzer nesneler, birkaç temel fark dışında, örneğin, benzer olarak MOST parametrelerine “benzer” olacaktır (örneğin, bir grup genç BT öğrencisi, genç dansçı, insan… bazı oldukça benzer özelliklere sahip olacaktır (düşük varyans). fakat bazı önemli özellikler hala oldukça çeşitli ve bu “ana Temel Bileşenler” i yakalamada büyük ölçüde varyansın çoğunluğunu yakalar; örneğin, renk, ikamet alanı… Bu nedenle, küçük farklılıkların bu özelliklerini ihmal edersek düşük bozulma veya dönüştürme düşük PC'lerde fazla bilgi kaybı olmaz
4. Bu nedenle, farklılıklara (varyasyonlara) bakmak için onları bir arada gruplandırmanın “çok muhtemel” ve “çok doğal” olması, (örneğin ana caddede haftada 1.000 anket yaparsanız, etnik gruplara göre kümelendiriyorsanız) veri değerlendirmesini anlamlandırır. , yaş, ya da PC'nin mantıklı olduğu gibi eğitim durumu) K Means'ın misyonu altında, bu grup öğelerinin (bir kümede) Centroid ile maliyet arasında en küçük mesafeye (en aza indirilmiş) sahip olması için adil bir K sayısı oluşturmaya çalışıyoruz. K kümelerinin kurulması ve çalıştırılması en uygunudur (bir küme olarak her üye, bakımı için çok maliyetli ve hiçbir değeri yoktur)
5. K, eğer Grup Ana Bileşenleri üzerindeyse (örneğin, farklı yaştaki insanlar için etnik / asil kümelenmeler varsa, benzer düşünceleri ifade etme eğiliminde olurlarsa, bu anketleri temel alan) Bu PC'ler, o zaman, erime hedefine ulaşırlar (ref. 1) Ayrıca bu PC'ler (etnik, yaş, din ..) oldukça sık dikeydir, dolayısıyla PCA'yı görüntüleyerek görsel olarak farklıdır.
6. Bununla birlikte, bu sezgisel kesinti, yeterli ancak gerekli olmayan bir duruma yol açar. (Ref 2: Bununla birlikte, PCA'nın k-aracı kümelemesinin kullanışlı bir gevşemesi olduğu yeni bir sonuç değildi (örneğin, [35] 'e bakınız) ve küme centroid alt uzayının kullanıldığı ifadesine karşı örneklerin ortaya çıkarılması kolaydır. Asıl talimatlara göre. [36])

CP'lere dayalı / boyunca kümelerin seçilmesi rahat bir şekilde rahat tahsis mekanizmasına yol açabilir

Bu, x'in X ekseni üzerindeki ilk PC olması durumunda örnek olabilir: (........... CC1 ............... CC2 ..... ....... CC3 X ekseni), X ekseninin% 9X'ini yakaladığını ve söylenenin tek PC olduğu

6. Son olarak PCA, K Means yapıldıktan sonra görselleştirmek için de kullanılır (Ref 4)

PCA gösterimi * K kümelenme sonucumuz ortogonal veya yakın olduğu sonucuna varırsa, kümelenmemizin her biri benzersiz özelliklere sahip olduğunu gösteren bir işarettir.

(* çünkü PCA tanımı, K (PCA) büyük olasılıkla varyansın büyük bir çoğunluğunu yakalayacağını söyleyen bu büyük boyutları (1B'den 3B'ye) bulur / görüntüler.

Bu nedenle, PCA hem iyi bir kümelenmenin görselleştirilmesinde hem de onaylanmasında hem de K anlamına gelir - K K daha sonra kullanılmadan önce kullanılacak kümelemenin belirlenmesinde kendinden kullanışlı bir elementtir.

Referans:

1. https://msdn.microsoft.com/en-us/library/azure/dn905944.aspx
2. https://en.wikipedia.org/wiki/Principal_component_analysis
3. PRENSİP BİLEŞEN ANALİZİ KULLANMA KÜMELEME: YAŞLI KİŞİ OTONOMİSİ-ENGELLİ UYGULAMASI (Combes & Azema)
4. http://cs229.stanford.edu/notes/cs229-notes10.pdf Andrew Ng