Standart ve küresel k-ortalama algoritmaları arasındaki fark

Standart ve küresel k-ortalama kümeleme algoritmaları arasındaki temel uygulama farkının ne olduğunu anlamak isterim.

Her adımda, k-aracı eleman vektörleri ve küme centroidleri arasındaki mesafeleri hesaplar ve ortağı en yakın olan bu kümeye belgeyi yeniden atar. Daha sonra, tüm centroidler yeniden hesaplanır.

Küresel k araçlarında, tüm vektörler normalize edilir ve mesafe ölçümü kosinüs farklılığıdır.

Hepsi bu mu, yoksa başka bir şey mi var?

Soru:

Klasik k araçları ve küresel k araçları arasındaki fark nedir?

Klasik K araçları:

Klasik k anlamında, küme merkezi ile küme üyeleri arasındaki Öklid mesafesini en aza indirmeyi amaçlıyoruz. Bunun arkasındaki sezgi, küme merkezinden eleman konumuna radyal mesafenin, kümenin tüm elemanları için "aynılık" ya da "benzer" olması gerektiğidir.

Algoritma şudur:

• Küme sayısını ayarlayın (aka küme sayısı)
• İndeksleri kümeye uzayda rastgele noktalar atayarak sıfırlayın.
• Birleşene kadar tekrar et
  • Her nokta için en yakın kümeyi bulun ve kümeye nokta atayın
  • Her küme için, üye puanların ortalamasını ve güncelleme merkezi ortalamasını bulun.
  • Hata kümelerin uzaklık normudur.

Küresel K araçları:

Küresel k araçlarında, fikir her bir kümenin merkezini, bileşenler arasında açının hem homojen hem de minimum olmasını sağlayacak şekilde ayarlamaktır. Sezgi yıldızlara bakmak gibidir - noktaların aralarında tutarlı boşluk bırakması gerekir. Bu boşluk, "kosinüs benzerliği" olarak ölçmek için daha basittir, ancak bu, veri gökyüzü üzerinde büyük ve parlak renk alanlarını oluşturan "Samanyolu" gökadalarının olmadığı anlamına gelir. (Evet, açıklamanın bu bölümünde büyükannemle konuşmaya çalışıyorum .)

Daha fazla teknik sürüm:

Vektörleri, yönelimli oklar olarak grafik çizdiğiniz şeyleri ve sabit uzunlukları düşünün. Her yere çevrilebilir ve aynı vektör olabilir. ref

Noktanın uzayda oryantasyonu (bir referans çizgisinden açısı) doğrusal cebir, özellikle nokta ürünü kullanılarak hesaplanabilir.

Tüm verileri, kuyrukları aynı noktada olacak şekilde taşırsak, "vektörleri" açılarına göre karşılaştırabilir ve benzerlerini tek bir kümede gruplayabiliriz.

Netlik için, vektörlerin uzunlukları ölçeklendirilir, böylece "göz küresi" karşılaştırması daha kolay olur.

Bunu bir takımyıldız olarak düşünebilirsiniz. Tek bir kümedeki yıldızlar bir anlamda birbirine yakındır. Bunlar benim göz kürek takımlarım olarak kabul edilenler.

Genel yaklaşımın değeri, vektörlerin belgelerde kelime frekansları olduğu tf-idf yönteminde olduğu gibi, geometrik boyutu olmayan vektörleri elde etmemize izin vermesidir. Eklenen iki "ve" kelimesi bir "the" ile aynı değildir. Kelimeler sürekli değildir ve sayısal değildir. Geometrik anlamda fiziksel değildirler, ancak onları geometrik olarak değerlendirebilir ve sonra bunları ele almak için geometrik yöntemler kullanabiliriz. Küresel k araçları kelimelere göre kümelemek için kullanılabilir.

Yani (2d rasgele, sürekli) verileri şuydu:

$$\begin{bmatrix} x1&y1&x2&y2&group\\ 0&-0.8&-0.2013&-0.7316&B\\ -0.8&0.1&-0.9524&0.3639&A\\ 0.2&0.3&0.2061&-0.1434&C\\ 0.8&0.1&0.4787&0.153&B\\ -0.7&0.2&-0.7276&0.3825&A\\ 0.9&0.9&0.748&0.6793&C\\ \end{bmatrix}$$

Bazı noktalar:

• Belge uzunluğundaki farklılıkları hesaba katan bir ünite alanına yansıtırlar.

Gerçek bir süreç üzerinde çalışalım ve benim "göz küreme" nin ne kadar (kötü) olduğunu görelim.

Prosedür:

1. (Sorunda örtülü) vektör kuyruklarını başlangıç ​​noktasında bağla
2. birim küre üzerine proje (belge uzunluğundaki farklılıkları hesaba katmak için)
3. " kosinüs farklılıklarını " en aza indirmek için kümelemeyi kullanın

d ( x , p ) = 1 - c O ler ( x , p ) = ⟨ x , s

$$J = \sum_{i} d \left( x_{i},p_{c\left( i \right)} \right)$$ burada
$$d \left( x,p \right) = 1- cos \left(x,p\right) = \frac{\langle x,p \rangle}{\left \|x \right \|\left \|p \right \|}$$

(daha fazla düzenleme yakında)

Bağlantılar:

1. http://epub.wu.ac.at/4000/1/paper.pdf
2. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.111.8125&rep=rep1&type=pdf
3. http://www.cs.gsu.edu/~wkim/index_files/papers/refinehd.pdf
4. https://www.jstatsoft.org/article/view/v050i10
5. http://www.mathworks.com/matlabcentral/fileexchange/32987-the-spherical-k-means-algorithm
6. https://ocw.mit.edu/courses/sloan-school-of-management/15-097-prediction-machine-learning-and-statistics-spring-2012/projects/MIT15_097S12_proj1.pdf