Scikit kümeleme atalet formülü öğrenmek

Pandalar ve scikit öğrenmek kullanarak python kümeleme bir kmeans kodlamak istiyorum. İyi k'yi seçmek için, Tibshirani ve al 2001'den ( Pdf ) Gap İstatistiğini kodlamak istiyorum .

Scikit'ten inertia_ sonucunu kullanıp kullanamayacağımı ve tüm istatistik hesaplamasını yeniden kodlamak zorunda kalmadan boşluk istatistik formülünü uyarlayıp uyarlayamayacağımı bilmek istiyorum .

Scikit / kullanılan atalet formülünü bilen var mı? Üst düzey mesafe fonksiyonlarını kullanarak boşluk istatistiğini yeniden kodlamanın kolay bir yolunu biliyor mu?

— Kaşımak
kaynak

Bu sorunun CV için konuyla ilgili yeterli istatistiksel içeriğe sahip olduğunu düşünüyorum, ancak bunun oldukça karmaşık programlama ve Python bilgisi gerektirdiğini unutmayın. İyi bir cevap almak zor olabilir. Siz de sahte kod için yerleşmek isteyebilirsiniz / isteyebilirsiniz ve / veya bu soruyu Python programlama yönleri ile ilgili istatistiksel yönler hakkında 2 bölüme, 1 bölüme, burada 1 bölüme ayırmanız gerekebilir . (Ya da belki de bilmiyorum, emin değilim, ama size adil bir uyarı vermek istiyorum; nasıl gittiğini göreceğiz.)

— gung - Monica'yı eski durumuna döndürün

Bu sorunun "atalet" teriminin tanımlanması gerekmektedir. İçindeki para gibi görünüyor python.

— ttnphns

Sanırım kmeans kümelenmesi için cevabımı buldum:

Git kaynak koduna bakarak, scikit öğrenmesi için ataletin en yakın sentroidine, yani atanmış kümeye her nokta için kare mesafenin toplamı olarak hesaplandığını buldum. Bu yüzden burada tahsis kümesinin ağırlık merkezi ve karesi mesafedir. $I = \sum_{i}(d(i,cr))$ $cr$ $d$

Şimdi boşluk istatistiğinin formül kapsar küme içinde tüm noktaları arasındaki karesi mesafelerin toplamı .

W_{k} = \sum_{r = 1}^{k} \frac{1}{(2 * n_{r})} D_{r}

$W_k = \sum_{r=1}^{k}\frac 1 {(2*n_r) }D_r$

D_{r}

$D_r$

r

$r$

Tanıtarak , (kare uzaklık formülde küme ağırlık merkezi olan koordinatları), bir terim olduğu (scikit gibi) Atalet karşılık gelir + nın her biri kaybolur bir terim her kümenin ağırlık merkezi olan (kmeans olması gerekiyordu). Yani aslında Scikit Atalet olduğunu. $+c$ $-c$ $c$ $r$ $c$ $W_k$

Hala iki sorum var:

Analizimin doğru olduğunu mu düşünüyorsun? (Örneğin, hiyerarşik kümeleme için geçerli olup olmadığını bilmiyorum.)
Yukarıda doğruysam, boşluk istatistiğini kodladım (tahmin ve kümeleme arasındaki günlük eylemsizliklerinin farkı olarak) ve özellikle iris veri kümesinde kötü performans gösteriyor, kimse denedi mi?

— Kaşımak
kaynak

Cevaplarınızda soru sormamak en iyisidir. Bu gerçekten sorunuzun cevabı değilse de, gerçek soruyu açıklığa kavuşturmak için sadece kısmi bir çözümse, sorunuzu düzenlemek ve bu bilgileri içine yapıştırmak daha iyi olacaktır.

— gung - Monica'yı eski

@Scratch, Iris veri kümesi üzerinde çalışmak için boşluk istatistiğinin bir python uygulamasını aldınız mı? Aynı sorunla mücadele ediyorum.

— 14:23

Evet, birkaç ay önce kodladım. Bunu size nasıl gönderebilirim?

— Scratch

Formül olmamalı bu ?

W_{k} = \sum_{r = 1}^{k} \frac{D_{r}}{(2 * n_{r})}

$W_k = \sum_{r=1}^{k}\frac {D_r} {(2*n_r) }$

— Biswanath