Bu korelasyon tabanlı mesafeler için üçgen eşitsizliği sağlanmış mı?

13

Hiyerarşik kümeleme için, iki rastgele değişken ve arasındaki mesafeyi ölçmek için genellikle aşağıdaki iki "metriği" (tam olarak konuşmuyorlar) : ya da mu üçgen eşitsizliğini nasıl karşılar? Öyleyse, sadece kaba kuvvet hesaplaması dışında bunu nasıl kanıtlamalıyım? Metrik değilse, basit bir karşı örnek nedir? $X$ $Y$ $\newcommand{\Cor}{\mathrm{Cor}}$

\begin{aligned} d_{1} (X, Y) & = 1 - | C o r (X, Y) |, \\ d_{2} (X, Y) & = 1 - (C o r (X, Y))^{2} \end{aligned}

$\begin{align} d_1(X,Y) &= 1-|\Cor(X,Y)|, \\ d_2(X,Y) &= 1-(\Cor(X,Y))^2 \end{align}$

— Linda
kaynak

Bu makaleyi incelemek isteyebilirsiniz: arxiv.org/pdf/1208.3145.pdf .

— Chris

5

Üçgen eşitsizliği senin üzerinde doğuracak: $d_1$ $\newcommand{\Cov}{\mathrm{Cov}}$ $\newcommand{\Cor}{\mathrm{Cor}}$ $\newcommand{\Var}{\mathrm{Var}}$

\begin{aligned} d_{1} (X, Z) & \leq d_{1} (X, Y) + d_{1} (Y, Z) \\ 1 - | C o r (X, Z) | & \leq 1 - | C o r (X, Y) | + 1 - | C o r (Y, Z) | \\ ⟹ | C o r (X, Y) | + | C o r (Y, Z) | & \leq 1 + | C o r (X, Z) | \end{aligned}

$\begin{align*} d_1(X,Z) &\leq d_1(X,Y) + d_1(Y,Z) \\ 1 - |\Cor(X,Z)| &\leq 1 - |\Cor(X,Y)| + 1 - |\Cor(Y,Z)| \\ \implies |\Cor(X,Y)| + |\Cor(Y,Z)| &\leq 1 + |\Cor(X,Z)| \end{align*}$

Bu yenmek için oldukça kolay bir eşitsizlik gibi görünüyor. ve bağımsız hale getirerek sağ tarafı mümkün olduğunca küçük (tam olarak bir) yapabiliriz . O zaman sol tarafın birini aştığı bir bulabilir miyiz ? $X$ $Z$ $Y$

Eğer ve ve , daha sonra aynı varyans ve benzer için , yani sol taraf birin üzerindedir ve eşitsizlik ihlal edilir. ve çok değişkenli bir normalin bileşenleri olduğu R'deki bu ihlale örnek : $Y=X+Z$ $X$ $Z$ $\Cor(X,Y) = \frac{\sqrt{2}}{2} \approx 0.707$ $\Cor(Y,Z)$ $X$ $Z$

library(MASS)
set.seed(123)
d1 <- function(a,b) {1 - abs(cor(a,b))}

Sigma    <- matrix(c(1,0,0,1), nrow=2) # covariance matrix of X and Z
matrixXZ <- mvrnorm(n=1e3, mu=c(0,0), Sigma=Sigma, empirical=TRUE)
X <- matrixXZ[,1] # mean 0, variance 1
Z <- matrixXZ[,2] # mean 0, variance 1
cor(X,Z) # nearly zero
Y <- X + Z

d1(X,Y) 
# 0.2928932
d1(Y,Z)
# 0.2928932
d1(X,Z)
# 1
d1(X,Z) <= d1(X,Y) + d1(Y,Z)
# FALSE

Bu yapının çalışmadığına dikkat edin : $d_2$

d2 <- function(a,b) {1 - cor(a,b)^2}
d2(X,Y) 
# 0.5
d2(Y,Z)
# 0.5
d2(X,Z)
# 1
d2(X,Z) <= d2(X,Y) + d2(Y,Z)
# TRUE

üzerine teorik bir saldırı başlatmak yerine , bu aşamada güzel bir karşı örnek ortaya çıkana kadar R'deki kovaryans matrisi ile oynamayı daha kolay buldum . İzin , ve verir: $d_2$ Sigma $\Var(X)=2$ $\Var(Z)=1$ $\Cov(X,Z)=1$

V a r (Y) = V a r (X + Y) = V a r (X) + V a r (Z) + 2 C o v (X, Z) = 2 + 1 + 2 = 5

$\Var(Y)=\Var(X+Y)=\Var(X)+\Var(Z)+2\Cov(X,Z)=2+1+2=5$

Kovaryansları da araştırabiliriz:

C o v (X, Y) = C o v (X, X + Z) = C o v (X, X) + C o v (X, Z) = 2 + 1 = 3

$\Cov(X,Y)=\Cov(X,X+Z)=\Cov(X,X)+\Cov(X,Z)=2+1=3$

C o v (Y, Z) = C o v (X + Z, Z) = C o v (X, Z) + C o v (Z, Z) = 1 + 1 = 2

$\Cov(Y,Z)=\Cov(X+Z,Z)=\Cov(X,Z)+\Cov(Z,Z)=1+1=2$

Kareli korelasyonlar şu şekilde olur:

C o r (X, Z)^{2} = \frac{C o v (X, Z)^{2}}{V a r (X) V a r (Z)} = \frac{1^{2}}{2 \times 1} = 0.5

$\Cor(X,Z)^2 = \frac{\Cov(X,Z)^2}{\Var(X)\Var(Z)}=\frac{1^2}{2\times1}=0.5$

C o r (X, Y)^{2} = \frac{C o v (X, Y)^{2}}{V a r (X) V a r (Y)} = \frac{3^{2}}{2 \times 5} = 0.9

$\Cor(X,Y)^2 = \frac{\Cov(X,Y)^2}{\Var(X)\Var(Y)}=\frac{3^2}{2\times5}=0.9$

C o r (Y, Z)^{2} = \frac{C o v (Y, Z)^{2}}{V a r (Y) V a r (Z)} = \frac{2^{2}}{5 \times 1} = 0.8

$\Cor(Y,Z)^2 = \frac{\Cov(Y,Z)^2}{\Var(Y)\Var(Z)}=\frac{2^2}{5\times1}=0.8$

Sonra iken ve böylece üçgen eşitsizliği önemli bir farkla ihlal edilir. $d_2(X,Z)=0.5$ $d_2(X,Y)=0.1$ $d_2(Y,Z)=0.2$

Sigma    <- matrix(c(2,1,1,1), nrow=2) # covariance matrix of X and Z
matrixXZ <- mvrnorm(n=1e3, mu=c(0,0), Sigma=Sigma, empirical=TRUE)
X <- matrixXZ[,1] # mean 0, variance 2
Z <- matrixXZ[,2] # mean 0, variance 1
cor(X,Z) # 0.707
Y  <- X + Z
d2 <- function(a,b) {1 - cor(a,b)^2}
d2(X,Y) 
# 0.1
d2(Y,Z)
# 0.2
d2(X,Z)
# 0.5
d2(X,Z) <= d2(X,Y) + d2(Y,Z)
# FALSE

— Gümüş Balık
kaynak

5

Bize üç vektörleri var edelim (bu değişkenler veya bireyler olabilir) , ve . Ve her birini z skorlarına standardize ettik (ortalama = 0, varyans = 1). $X$ $Y$ $Z$

$\newcommand{\Cor}{\mathrm{Cor}}$

Daha sonra kosinüs teoremine (" kosinüs kanunu") göre iki standart vektör (örneğin X ve Y) arasındaki kareli öklid mesafesi , burada , kosinüs benzerlik, bir Pearson bağlı vektörlerin z standardizasyona. sabit çarpanı güvenli bir şekilde göz ardı edebiliriz . $d_{XY}^2 = 2(n-1)(1-\cos_{XY})$ $\cos_{XY}$ $r_{XY}$ $2(n-1)$

Böylece, sorudaformül korelasyon katsayısının işaretini göz ardı etmiyorsa, kareli öklid mesafesi olacaktır. $d_1(X,Y)=1-|\Cor(X,Y)|$

matrisi ise s gram (pozitif semidefinite) olur, o zaman "d1" mesafesinin karekökü, metrik olan öklid mesafedir. Büyük değilmesafelerin öklid uzayında iyi yakınsamaktan uzak olmadığı, genellikle bir durumdur. Metrik öklidinden daha geniş bir sınıf olduğundan, belirli bir "sqrt (d1)" mesafe matrisi oldukça sık metrik görünmeyi bekleyebilir. $|r|$ $|r|$

"Ö" kareli öklid mesafesi olan "d1" e göre, kesinlikle metrik değildir. Gerçek kare öklid mesafesi bile metrik değildir: bazen üçgen eşitsizliği ilkesini ihlal eder. [Küme analizinde, kareli öklid mesafesi oldukça sık kullanılır; bununla birlikte, bu gibi vakaların çoğu gerçekte analizleri eşsiz bir uzaklık üzerine inşa eder, kare olanlar hesaplamalar için sadece uygun bir girdidir.] Bunu görmek için (kare öklid ), üç vektörümüzü çizelim. $d$

resim açıklamasını buraya girin

Vektörler birim uzunluktadır (çünkü standartlaştırılmıştır). Açıların ( , , ) sırasıyla , , 'dır. Bu açılar, vektörler arasında karşılık gelen öklid mesafelerini yayar: , , . Basitlik için, üç vektörün hepsi aynı düzlemdedir (ve bu nedenle ve arasındaki açı diğer iki toplamıdır ). Kare uzaklıktaki üçgen eşitsizliğinin ihlalinin en belirgin olduğu konumdur . $\alpha$ $\beta$ $\alpha+\beta$ $r_{XY}$ $r_{XZ}$ $r_{YZ}$ $d_{XY}$ $d_{XZ}$ $d_{YZ}$ $X$ $Z$ $\alpha+\beta$

Çünkü, gözlerle görebileceğiniz gibi, yeşil kare alan iki kırmızı karenin toplamını mükemmelleştirir: . $d_{YZ}^2 > d_{XY}^2 + d_{XZ}^2$

Bu nedenle

$d_1(X,Y)=1-|\Cor(X,Y)|$

metrik olmadığını söyleyebiliriz. Çünkü tüm başlangıçta pozitif olsa bile , mesafe metrik olmayan öklidyen . $r$ $d^2$

İkinci mesafe ne olacak?

$d_2(X,Y)=1-(\Cor(X,Y))^2$

Korelasyon yana standart vektörler durumunda olduğu , olduğu . (Aslında, olduğu bir şey ile bağımlı değişken karesi korelasyon olan bir miktar, bir doğrusal regresyon ortogonal öngörücüsü.) Bu durumda, bunları kare vektörlerin sinüslerle çizmek ve olun (çünkü biz olan mesafeden bahsediyorsunuz ): $r$ $\cos$ $1-r^2$ $\sin^2$ $1-r^2$ SSerror/SStotal $\sin^2$

resim açıklamasını buraya girin

Görsel olarak açık olmasa da, yeşil karesi yine kırmızı alanların toplamından daha büyük . $\sin_{YZ}^2$ $\sin_{XY}^2 + \sin_{XZ}^2$

Bu kanıtlanabilirdi. Bir uçakta . ile ilgilendiğimiz için her iki tarafı da kare yapın . $\sin(\alpha+\beta) = \sin\alpha \cos\beta + \cos\alpha \sin\beta$ $\sin^2$

\begin{aligned} \sin^{2} (α + β) & = \sin^{2} α (1 - \sin^{2} β) + (1 - \sin^{2} α) \sin^{2} β + 2 \sin α \cos β \cos α \sin β \\ = \sin^{2} α + \sin^{2} β - 2 [\sin^{2} α \sin^{2} β] + 2 [\sin α \cos α \sin β \cos β] \end{aligned}

$\begin{align} \sin^2(\alpha+\beta) &= \sin^2\alpha (1-\sin^2\beta) + (1-\sin^2\alpha) \sin^2\beta + 2 \sin\alpha \cos\beta \cos\alpha \sin\beta \\ &= \sin^2\alpha + \sin^2\beta -2 [\sin^2\alpha \sin^2\beta] +2 [\sin\alpha \cos\alpha \sin\beta \cos\beta] \end{align}$

Son ifadede, iki önemli terim parantez içinde gösterilmiştir. Eğer ikisinden ikincisi birincisinden daha büyükse (veya olabilir) o zaman ve "d2" mesafesi ihlal edilir üçgen eşitsizliği. Ve yaklaşık 40 derece ve yaklaşık 30 derecedir (1. terim ve 2. terim ). "D2" metrik değil. $\sin^2(\alpha+\beta) > \sin^2\alpha + \sin^2\beta$ $\alpha$ $\beta$ .1033.2132

"D2" mesafesinin kare kökü - sinüs farklılığı ölçüsü - yine de metriktir (inanıyorum). Emin olmak için çevremdeki çeşitli ve açılarıyla oynayabilirsiniz . "D2" nin, doğrusal olmayan bir ortamda metrik olduğunu gösterip göstermeyeceği (yani, bir düzlemde olmayan üç vektör) - Şimdilik söyleyemem, ancak geçici olarak olacağını varsayıyorum. $\alpha$ $\beta$

— ttnphns
kaynak

3

Ayrıca yazdığım bu ön baskıya da bakın: http://arxiv.org/abs/1208.3145 . Hala zaman ayırmam ve doğru şekilde göndermem gerekiyor. Soyut:

Metrik koruyucu fonksiyonların basit aracını kullanarak, kosinüs benzerliğinin iki dönüşüm sınıfını ve Pearson ve Spearman korelasyonlarını metrik mesafelere araştırıyoruz. Birinci sınıf, anti-korelasyonlu nesneleri en üst düzeye çıkarır. Daha önce bilinen dönüşümler bu sınıfın içindedir. İkinci sınıf, ilişkili ve anti-korelasyonlu nesneleri harmanlar. Metrik mesafe veren böyle bir dönüşüm örneği, ortalanmış verilere uygulandığında sinüs fonksiyonudur.

Sorunuzun sonucu, d1 , d2'nin gerçekten metrik olmaması ve d2'nin kare kökünün aslında uygun bir metrik olmasıdır.

— micans
kaynak

2

Hayır.

En basit karşı örnek:

için mesafesi senin ne olursa olsun, hiç tanımlanmadı olduğunu. $X=(0,0)$ $Y$

Herhangi bir sabit seri standart sapmaya ve bu nedenle tanımında sıfıra bölünmeye neden olur ... $\sigma=0$ $Cor$

En çok, veri serisinin bir alt kümesindeki, herhangi bir sabit seri içermeyen bir metriktir.

— QUIT Vardır - Anony-Mousse
kaynak

İyi bir nokta! Başka bir yerde bahsedilen ön baskıda bundan bahsetmeliyim.

— mikans