k-ortalamalar || aka Ölçeklenebilir K-Ortalamalar ++

Bahman Bahmani ve diğ. k-means ++ 'nın daha hızlı bir sürümü olan k-means ||' ı tanıttı.

Bu algoritma 4. sayfasında alınır onların kağıt , Bahmani, B., Moseley, B., Vattani, A., Kumar, R., & Vassilvitskii, S. (2012). Ölçeklenebilir k-++ anlamına gelir. VLDB Vakası Bildirileri , 5 (7), 622-633.

Ne yazık ki bu süslü Yunan harflerini anlamıyorum, bu yüzden bunun nasıl çalıştığını anlamak için yardıma ihtiyacım var. Anladığım kadarıyla, bu algoritma k-means ++ 'ın geliştirilmiş bir versiyonudur ve yineleme sayısını azaltmak için aşırı örnekleme kullanır: k-means ++ sürelerini yinelemelidir , burada istenen kümelerin sayısıdır.$k$$k$

K-means ++ 'nın nasıl çalıştığına dair somut bir örnekle çok iyi bir açıklama aldım , bu yüzden aynı örneği tekrar kullanacağım.

Misal

Aşağıdaki veri kümesi var:

(7,1), (3,4), (1,5), (5,8), (1,3), (7,8), (8,2), (5,9), (8 0)

$k = 3$ (istenen kümelerin sayısı)

$\ell = 2$ (aşırı örnekleme faktörü)

Hesaplamaya başladım, ancak doğru olup olmadığımdan emin değilim ve Adım 2, 4 veya 5 hakkında hiçbir fikrim yok.

• Adım 1: noktasından rastgele rastgele bir nokta örneği$\mathcal{C} \leftarrow$$X$

  Diyelim ki ilk sentroid (k-ortalaması ++ ile aynı)$(8,0)$

• 2. Adım:$\psi \leftarrow \phi_X(\mathcal{C})$

  fikrim yok

• Aşama 3:

  • $d^2(x, \mathcal{C}) = [2, 41, 74, 73, 58, 65, 4, 90]$

    Her noktaya en yakın merkeze kare mesafeleri hesaplıyoruz. Bu durumda şimdiye kadar sadece bir merkezimiz var .$(8,0)$

  • $\ell \cdot d^2(x, \mathcal{C}) = [4, 81, 148, 146, 116, 130, 8, 180]$

    (Çünkü bu durumda )$\ell = 2$

  • $\text{cumulative } \ell \cdot d^2(x, \mathcal{C}) = [4, 85, 233, 379, 495, 625, 633, 813]$

    Al aralığında rasgele sayılar . Diyelim ki ve . Sırasıyla 4. ve 8. maddelere karşılık gelen ve aralıklarındadırlar .[ 0 , 813 ) 246.90 659.42 [ 379 , 495 ) [ 633 , 813 $\ell = 2$$[0, 813)$$246.90$$659.42$$[379, 495)$$[633, 813)$

  • O tekrarlayın defa, ama ne bu durumda (Adım 2'de hesaplanan)? $\mathcal{O}(\log \psi)$$\psi$

• Adım 4: için , resim noktaların sayısı olduğu yakın olan herhangi bir başka noktasından daha .g x X x $x \in \mathcal{C}$$w_x$$X$$x$$\mathcal{C}$
• Adım 5: içindeki ağırlıklı noktaları kümelerine tekrar toplayın .$\mathcal{C}$$k$

Genel olarak veya bu örnekte herhangi bir yardım çok iyi olurdu.

veri noktaları: (7,1), (3,4), (1,5), (5,8), (1,3), (7,8), (8,2), (5,9) , (8,0)

l = 2 // aşırı örnekleme faktörü

k = 3 // hayır. istenen kümelerin yüzdesi

Aşama 1:

İlk ağırlık merkezi varsayalım olduğunu . { c 1 } = { ( 8 , 0 ) } X = { x 1 , x 2 , x 3 , x 4 , x 5 , x 6 , x 7 , x 8 } = { ( 7 , 1 ) , ( 3 , 4 ) , ( 1 , 5 ) , $\mathcal{C}$$\{ c_1\} = \{ (8,0) \}$$X = \{x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8\}=\{(7,1),(3,4),(1,5),(5,8),(1,3),(7,8),(8,2),(5,9)\}$

Adım 2:

X C X C$\phi_X(\mathcal{C})$ ayarlamak tüm noktalar tüm küçük 2-norm mesafeleri (Öklit mesafesi) toplamıdır tüm noktalara . Başka bir deyişle, her nokta için deki en yakın noktaya olan mesafeyi bulun, sonunda her nokta için bir tane olmak üzere tüm bu minimum mesafelerin toplamını hesaplayın .$X$$\mathcal{C}$$X$$\mathcal{C}$$X$

İle Göstermek mesafe olarak gelen en yakın noktaya . Daha sonra .x i C ψ = ∑ n i = 1 d 2 C ( x i$d^2_{\mathcal{C}}(x_i)$$x_i$$\mathcal{C}$$\psi = \sum_{i=1}^{n}d^2_{\mathcal{C}}(x_i)$

2. adımda, tek bir öğe içerir (bkz. Adım 1) ve tüm öğeler kümesidir. Dolayısıyla bu adımda , ve içindeki nokta arasındaki mesafedir . Böylece . X d 2 C ( x i ) C x i ϕ = ∑ n i = 1 | | x i - c | | $\mathcal{C}$$X$$d^2_{\mathcal{C}}(x_i)$$\mathcal{C}$$x_i$$\phi = \sum_{i=1}^{n}{||x_i-c||^2}$

l o g ( ψ ) = l o g ( 52.128 ) = 3.95 = 4 ( r o u n d e $\psi = \sum_{i=1}^nd^2(x_i,c_1) = 1.41+6.4+8.6+8.54+7.61+8.06+2+9.4 = 52.128$ $log(\psi) = log(52.128) = 3.95 = 4 (rounded)$

Bununla birlikte, 3. adımda, birden fazla nokta içereceğinden genel formülün uygulandığını unutmayın .$\mathcal{C}$

Aşama 3:

İçin döngü için yürütülür daha önce hesaplanan.$log(\psi)$

Çizimler sizin anladığınız gibi değil. Çizimler bağımsızdır, yani her nokta için bir çizim gerçekleştireceksiniz . Bu nedenle, olarak gösterilen her nokta için dan bir olasılık hesaplayın . Burada sahip parametre olarak verilen bir etken, en yakın merkezi mesafedir, ve 2. adımda açıklanmıştır.X x i p x = l d 2 ( x , C ) / ϕ X ( C ) l d 2 ( x , C ) ϕ X ( C$X$$X$$x_i$$p_x = l d^2(x,\mathcal{C})/\phi_X(\mathcal{C})$$l$$d^2(x,\mathcal{C})$$\phi_X(\mathcal{C})$

Algoritma basitçe:

• bulmak için yinelemex $X$$x_i$
• her hesaplaması içinp x $x_i$$p_{x_i}$
• birörnek sayı üretin , den küçükse oluşturmak için bunu seçinp x i C $[0, 1]$$p_{x_i}$$\mathcal{C'}$
• yaptıktan sonra tüm çekilişler ile arasında seçilen noktaları içerir$\mathcal{C'}$$\mathcal{C}$

Yinelemede yürütülen her 3. adımda (orijinal algoritmanın 3. satırı) puan seçmeyi beklediğinizi unutmayın (bu kolayca beklenti için formülü yazarken kolayca gösterilir).$l$$X$

for(int i=0; i<4; i++) {

  // compute d2 for each x_i
  int[] psi = new int[X.size()];
  for(int i=0; i<X.size(); i++) {
    double min = Double.POSITIVE_INFINITY;
    for(int j=0; j<C.size(); j++) {
      if(min>d2(x[i],c[j])) min = norm2(x[i],c[j]);
    }
    psi[i]=min;
  }

  // compute psi
  double phi_c = 0;
  for(int i=0; i<X.size(); i++) phi_c += psi[i];

  // do the drawings
  for(int i=0; i<X.size(); i++) {
    double p_x = l*psi[i]/phi;
    if(p_x >= Random.nextDouble()) {
      C.add(x[i]);
      X.remove(x[i]);
    }
  }
}
// in the end we have C with all centroid candidates
return C;

4. Adım:

Bunun için basit bir algoritma, boyutunda bir vektör oluşturmak deki eleman sayısına eşittir ve tüm değerlerini ile başlatır . Şimdi yineleyin (centroids olarak seçilmeyen öğeler) ve her için en yakın centroidin dizinini bulun ( öğesinden ) ve değerini ile . Sonunda vektörü doğru hesaplanır.Cı 0 x x i ∈ x j Cı w [ j ] 1 $w$$\mathcal{C}$$0$$X$$x_i \in X$$j$$\mathcal{C}$$w[j]$$1$$w$

double[] w = new double[C.size()]; // by default all are zero
for(int i=0; i<X.size(); i++) {
  double min = norm2(X[i], C[0]);
  double index = 0;
  for(int j=1; j<C.size(); j++) {
    if(min>norm2(X[i],C[j])) {
      min = norm2(X[i],C[j]);
      index = j;
    }
  }
  // we found the minimum index, so we increment corresp. weight
  w[index]++;
}

Adım 5:

Ağırlıklar dikkate alındığında önceki adımda hesaplanan, sen kmeans ++ algoritması sadece seçmek için takip sentroidler başlangıç olarak puan. Böylece, döngüler için yürütürsünüz, her döngüde tek bir eleman seçerek, her elemanın olma olasılığı ile rastgele . Her adımda bir element seçer ve adaylardan çıkarırsınız, ayrıca ilgili ağırlığını da kaldırırsınız.k k p ( i ) = w ( i ) / ∑ m j = 1 w $w$$k$$k$$p(i) = w(i)/\sum_{j=1}^m{w_j}$

for(int k=0; k<K; k++) {
  // select one centroid from candidates, randomly, 
  // weighted by w
  // see kmeans++ and you first idea (which is wrong for step 3)
  ... 
}  

Önceki tüm adımlar, kmeans ++ durumunda olduğu gibi, kümeleme algoritmasının normal akışı ile devam eder

Umarım şimdi daha açıktır.

[Daha sonra düzenleyin]

Ayrıca yazarlar tarafından yapılan bir sunum buldum, burada her yinelemede birden fazla noktanın seçilebileceğini açıkça göremiyorsunuz. Sunum burada .

[Daha sonra @ pera'nın sayısını düzenleyin]

verilere bağlı olduğu ve algoritmanın tek bir ana bilgisayarda / makinede / bilgisayarda yürütülmesi durumunda ortaya koyduğunuz sorunun gerçek bir sorun olacağı açıktır . Bununla birlikte, kmeans kümelenmesinin bu varyantının büyük sorunlara ve dağıtılmış sistemlerde çalışmaya adanmış olduğunu not etmelisiniz. Dahası, yazarlar, algoritma açıklamasının yukarısındaki aşağıdaki paragraflarda aşağıdakileri belirtmektedir:$log(\psi)$

boyutunun giriş boyutundan önemli ölçüde küçük olduğuna dikkat edin ; bu nedenle yeniden yasaklama hızlı bir şekilde yapılabilir. Örneğin, MapReduce'da, merkez sayısı az olduğu için, bunların hepsi tek bir makineye atanabilir ve k merkezleri elde etmek için noktaları kümelemek için herhangi bir kanıtlanabilir yaklaşım algoritması (k-means ++ gibi) kullanılabilir. Algoritma 2'nin bir MapReduce uygulaması Bölüm 3.5'te ele alınmıştır. Algoritmamız çok basit olsa da ve doğal bir paralel uygulamaya ( mermi şeklinde) borç verirken , zorlu kısım kanıtlanabilir garantilere sahip olduğunu göstermektir.l o g ( ψ $C$$log(\psi)$

Dikkat edilmesi gereken başka bir şey, aynı sayfada belirtilen şu nottur:

Uygulamada, Bölüm 5'teki deneysel sonuçlarımız, iyi bir çözüme ulaşmak için sadece birkaç turun yeterli olduğunu göstermektedir.

Bu, algoritmayı kez değil, belirli bir sabit süre boyunca çalıştırabileceğiniz anlamına gelir .$log(\psi)$