Korelasyonu metrik ölçü olarak kullanma (hiyerarşik kümeleme için)

Verilerimi hiyerarşik olarak kümelemek istiyorum ancak Öklid mesafesini kullanmak yerine, korelasyon kullanmak istiyorum. Ayrıca, her iki 1 ve 1 benim çalışma "ko-düzenleme" belirten ile -1 1'e korelasyon katsayısı aralıkları, beri, d = 0 benim hesaplanmasıdır Böylece hem 1 ve 1 tedavi am $\ d = 1-|r|$

Ayrı bir soruda (k-aracı kümelemeyle ilgili) kosinüs teoremini kullanarak r'yi gerçek öklid d'ye dönüştürmeniz gerektiğini okudum : $d = \sqrt{2(1-r)}$

Hiyerarşik kümeleme için korelasyonu mesafeye dönüştürmenin en doğru yolu nedir?

— Megatron
kaynak

Evet, mümkün olanlardan biri - ve geometrik olarak doğru yol - son formül. Fakat eğer sizin için anlamlıysa

işaretini göz ardı

r

$r$ edebilirsiniz, böylece

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$ . Çoğu durumda, kümeleme sonuçlarını etkilemeden

2

$2$ güvenle bırakabilirsiniz . Uzaklık kare öklid şeklinde ele alınabilir . Gelen bu parçacığı o mesafe-dönüştürülmüş korelasyon önlemler metrik mesafeler olup olmadığı tartışıldı.

— ttnphns

Ayrıca, yok olması her zaman dönüştürmek

r

$r$ böyle Öklid mesafe gibi doğrusal bir farklılığa içine. Çok nadiren insanlar doğrudan

r

$r$ veya

| r |

$|r|$ benzerlik konusunda olduğu gibi, açısal benzerliktir

— ttnphns

Hiyerarşik kümeleme için gerekenler

Hiyerarşik kümeleme, keyfi benzerlik ve farklılık önlemleri ile birlikte kullanılabilir. (Çoğu araç farklılık bekler, ancak negatif değerlere izin verir - küçük veya büyük değerlerin tercih edilip edilmeyeceğinden emin olmak size kalmıştır.).

Yalnızca centroid veya varyansa dayanan yöntemler (Ward'ın yöntemi gibi) özeldir ve kare Öklid ile birlikte kullanılmalıdır. (Nedenini anlamak için, lütfen bu bağlantıları dikkatlice inceleyin.)

Tek bağlantı, ortalama bağlantı, tam bağlantı çok fazla etkilenmez, yine de ikili farklılıkların minimum / ortalama / maksimumu olacaktır.

Mesafe ölçüsü olarak korelasyon

Verilerinizi önceden işleme koyarsanız ( gözlem, özellikleri), her özelliğin ve ( sabit özelliklere izin vermeyen !) Sahip olacak şekilde hazırlarsanız, o zaman korelasyon kosinine indirgenir: $n$ $p$ $\mu=0$ $\sigma=1$

Corr (X, Y) = \frac{Cov (X, Y)}{σ_{X} σ_{Y}} = \frac{E [(X - μ_{X}) (Y - μ_{Y})]}{σ_{X} σ_{Y}} = E [X Y] = \frac{1}{n} ⟨ X, Y ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

Aynı şartlar altında, kare Euclid mesafesi de kosinüs azaltır:

d_{Öklit}^{2} (X, Y) = Σ (X_{ben} - Y_{ben})^{2} = Σ X_{ben}^{2} + Σ Y_{ben}^{2} - 2 Σ X_{ben} Y_{ben} = 2 n - 2 ⟨ X, Y ⟩ = 2 n [1 - Corr (X, Y)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

Bu nedenle, verileriniz dejenere değilse, hiyerarşik kümeleme için korelasyon kullanmak uygun olmalıdır. Sadece yukarıda açıklandığı gibi ön işlem yapın, sonra kare Euclid mesafesini kullanın.

— Anony-Mousse
kaynak

Only ward's method is special, and should be used with squared Euclidean. Sadece Ward'ın değil. Centroidleri veya centroidlerden sapmaları hesaplayan herhangi bir yöntem, geometrik hassasiyet uğruna öklid veya kare öklid mesafesine (uygulamaya bağlı olarak) ihtiyaç duyacaktır. Böyle bir kayıp ve gerekli uyarı olması durumunda, diğer metrik mesafelerle birlikte kullanılabilirler. Bu yöntemler centroid, "medyan", Ward's, varyanstır (Ward ile karıştırılmamalıdır!) Ve diğerleri.

— ttnphns

Teşekkürler, bunu daha net anladım. Bu değişikliklerin farkında değildim, sadece tek / ortalama / tam / koğuş düşünüyordum.

— Anony-Mousse,

Bu yazıda bir sürü yazım hatası ve tanımsız ifade var! Lütfen gözden geçirin, düzeltin ve " " ın ne olduğunu ve " " in ne anlama geldiğini açıklayabilir misiniz?

⟨, ⟩

$\langle, \rangle$

d i m

$dim$

— whuber