Ward'ın kriteri değilse hclust () içindeki ward.D hangi algoritmayı uygular?

16

"Ward.D" seçeneği tarafından kullanılan (R sürümleri <= 3.0.3'teki tek Ward seçeneği "ward" ile eşdeğer) Ward'ın (1963) kümeleme ölçütünü uygulamazken, "ward.D2" seçeneği bu kriteri uygular ( Murtagh ve Legendre 2014).

( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html )

Görünüşe göre ward.D Ward'ın kriterlerini doğru bir şekilde uygulamıyor. Yine de ürettiği kümelenmeler konusunda iyi bir iş çıkarmış gibi görünüyor. Ward ölçütü değilse method = "ward.D" ne uygulanır?

Referanslar

Murtagh, F. ve Legendre, P. (2014). Ward'ın hiyerarşik aglomerasyon kümeleme yöntemi: Ward'ın ölçütünü hangi algoritmalar uyguluyor? Sınıflandırma Dergisi , 31 (3), 274-295.

r clustering ward

— Raffael
kaynak

Murthagh ve Legendre gazetesi bunun hakkında bir şey söylüyor mu?

— cbeleites,

Bu makaleye erişimim yok

— Raffael

Bir araştırmanın benim için ortaya çıktığı ilk şey, u montreal'daki el yazmasının pdf'sidir !?

— cbeleites,

öyleyse kağıt ne diyor? Ben bulamıyorum

— Raffael

Bize söylemeni istiyorum.

— cbeleites

11

İlgili makale burada .

Ward.D ve ward.D2 arasındaki fark, makalede Ward1 ve Ward2 olarak adlandırılan iki kümeleme kriteri arasındaki farktır.

Temel olarak, Ward algoritmasının sadece Ward2'de (koğuş D2) doğrudan doğru bir şekilde uygulandığı gerçeğine dayanır, ancak Öklid mesafeleri (from dist()), hclust()yöntem olarak koğuş.

Örneğin, SPSS ayrıca Ward1'i uygular, ancak kullanıcıları Ward kriterlerini elde etmek için mesafelerin kare olması gerektiği konusunda uyarır. Bu anlamda koğuş D'nin uygulanması onaylanmamıştır ve yine de geriye dönük uyumluluk için onu korumak iyi bir fikir olabilir.

— JTT
kaynak

2

Ward algorithm is directly correctly implemented in just Ward2Bağladığınız makaleden değil , aşağıdakileri izler : (1) her iki uygulamada da doğru sonuçlar elde etmek için, Ward1 ile kareli Öklid mesafelerini ve Ward2 ile kareli Öklid mesafelerini kullanın; (2) çıktı dendrogramlarını karşılaştırılabilir (özdeş) hale getirmek için dendrogram oluşturmadan önce Ward1'den sonra füzyon seviyelerine veya Ward2'den sonra kare füzyon seviyelerine karekök uygulayın.

— ttnphns

Haklısın tabi ki. Açıklama için teşekkürler. "Doğrudan doğru bir şekilde uygulanmış" ile kastettiğim, ward.D2 yöntemiyle doğru sonuca ulaşmak için yüksekliklerin kare kökünü almak gibi başka adımlara gerek olmadığıdır.

— JTT

1

Burada minik nüans Ward yöntemi ile, olmasıdır değil onlar "nonsquared" veya "kare" çizilen gerekip gerekmediğini - "Doğru" ya da gerçek füzyon seviyeleri sunum ne tanımladı. Kararsızlığın nedeni Ward'daki füzyon seviyelerinin mesafeler olmaması , artımlı dağılımlar olmasıdır.

— ttnphns

9

ward.D& Arasındaki tek fark ward.D2giriş parametresidir.

hclust(dist(x)^2,method="ward.D") ~ hclust(dist(x)^2,method="ward")

eşdeğer olanlar: hclust(dist(x),method="ward.D2")

Araştırma belgesini bulabilirsiniz: Ward'ın Hiyerarşik Kümeleme Yöntemi: Kümeleme Kriteri ve Aglomerasyon Algoritması

Ward2 kriter değerler “olan mesafeleri bir ölçekte oysa” Ward1 ölçüt değerlerinde “dir mesafeler bir ölçekte kare üzerinde ”.

— Nilesh
kaynak

Bu yanıtı tercih ediyorum, çünkü diğeri koğuşun yanlış olduğunu ima ediyor. Sadece farklı.

— Chris

6

"Ward1 (ward.D)" ile optimize edilen objektif işleve karşılık gelen araştırma belgesine rastladım: Mesafeler Arası Bağlantılar Yoluyla Hiyerarşik Kümeleme: Ward'ın Minimum Varyans Yöntemini Uzatma . R'nin "Ward1 (ward.D)" uygulamasının, küme grupları arasındaki enerji mesafesini en aza indirmeye eşdeğer olduğu ortaya çıktı.

2.1 Küme direnci ve Amaç Fonksiyonu $e$

Let ve ve boş olmayan alt-kümeleri olarak . Arası olan, ya da tanımlama -uzaklık arasında, ve olarak $A = \{a_1, \ldots, a_{n_1}\}$ $B = \{b_1, \ldots, b_{n_2}\}$ $\mathbb R^d$ $e$ $e(A, B)$ $A$ $B$
$\begin{aligned} e (A, B) = & \frac{n_{1} n_{2}}{n_{1} + n_{2}} (\frac{2}{n_{1} n_{2}} \sum_{i = 1}^{n_{1}} \sum_{j = 1}^{n_{2}} ‖ a_{i} - b_{j} ‖ \\ (1) & - \frac{1}{n_{1}^{2}} \sum_{i = 1}^{n_{1}} \sum_{j = 1}^{n_{1}} ‖ a_{i} - a_{j} ‖ - \frac{1}{n_{2}^{2}} \sum_{i = 1}^{n_{2}} \sum_{j = 1}^{n_{2}} ‖ b_{i} - b_{j} ‖) . \end{aligned}$ $\begin{align} e(A, B) = &\frac{n_1n_2}{n_1+n_2}\bigg(\frac{2}{n_1n_2}\sum_{i=1}^{n_1} \sum_{j=1}^{n_2} \|a_i-b_j\| \\ &- \frac{1}{n_1^2}\sum_{i=1}^{n_1}\sum_{j=1}^{n_1}\|a_i-a_j\| - \frac{1}{n_2^2}\sum_{i=1}^{n_2}\sum_{j=1}^{n_2}\|b_i-b_j\|\bigg). \tag{1} \end{align}$

— user3235207
kaynak

e^{(2)}

$e^{(2)}$ ward.D2

e^{(1)}

$e^{(1)}$ ward.D1

0 < α < 2

$0<\alpha<2$

e^{(α)}

$e^{(\alpha)}$

1

$1$