Spearman korelasyonu için aşağıdaki iki formülün denkliğini kanıtlayın

Gönderen wikipedia , Spearman sıra korelasyon değişkenleri dönüştürerek hesaplanır ve sıralanmış değişkenlere ve ve sonra sırada değişkenler arasındaki Pearson korelasyon hesaplama:$X_i$$Y_i$$x_i$$y_i$

Bununla birlikte, makale ve değişkenleri arasında hiçbir bağ , yukarıdaki formülün eşdeğer olduğunu belirtmektedir.$X_i$$Y_i$

burada , sıralamadaki fark.$d_i = y_i - x_i$

Birisi bunun kanıtı olabilir mi lütfen? Vikipedi makalesinde atıfta bulunulan ders kitaplarına erişimim yok.

$\rho = \frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}}$

Hiçbir bağları olduğu için, 'in ve ' hem tamsayılar arasından oluşur s ile dahil.y 1 $x$$y$$1$$n$

Böylece paydayı yeniden yazabiliriz:

$\frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sum_i (x_i-\bar{x})^2}$

Ancak payda sadece bir fonksiyonudur :$n$

$\sum_i (x_i-\bar{x})^2 = \sum_i x_i^2 - n\bar{x}^2 \\ \quad= \frac{n(n + 1)(2n + 1)}{6} - n(\frac{(n + 1)}{2})^2\\ \quad= n(n + 1)(\frac{(2n + 1)}{6} - \frac{(n + 1)}{4})\\ \quad= n(n + 1)(\frac{(8n + 4-6n-6)}{24})\\ \quad= n(n + 1)(\frac{(n -1)}{12})\\ \quad= \frac{n(n^2 - 1)}{12}$

Şimdi paylara bakalım:

$\sum_i(x_i-\bar{x})(y_i-\bar{y})\\ \quad=\sum_i x_i(y_i-\bar{y})-\sum_i\bar{x}(y_i-\bar{y}) \\ \quad=\sum_i x_i y_i-\bar{y}\sum_i x_i-\bar{x}\sum_iy_i+n\bar{x}\bar{y} \\ \quad=\sum_i x_i y_i-n\bar{x}\bar{y} \\ \quad= \sum_i x_i y_i-n(\frac{n+1}{2})^2 \\ \quad= \sum_i x_i y_i- \frac{n(n+1)}{12}3(n +1) \\ \quad= \frac{n(n+1)}{12}.(-3(n +1))+\sum_i x_i y_i \\ \quad= \frac{n(n+1)}{12}.[(n-1) - (4n+2)] + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - n(n+1)(2n+1)/6 + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i x_i^2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i (x_i^2+ y_i^2)/2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i (x_i^2 - 2x_i y_i + y_i^2) /2\\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i(x_i - y_i)^2/2\\ \quad= \frac{n(n^2-1)}{12} - \sum d_i^2/2$

Pay / Payda

$= \frac{n(n+1)(n-1)/12 - \sum d_i^2/2}{n(n^2 - 1)/12}\\ \quad= {\frac {n(n^2 - 1)/12 -\sum d_i^2/2}{n(n^2 - 1)/12}}\\ \quad= 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}\,$ ,.

bundan dolayı

$\rho = 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}.$

İkinci formülde , iki (sıralanmış) değişken arasındaki kare şeklinde Öklid mesafesinin göründüğünü görüyoruz : . Başlangıçtaki belirleyici sezgi, ile nasıl ilişkili olabileceğidir . Kosinüs teoremi ile açıkça ilişkilidir . Eğer iki değişken ortalanırsa, o zaman bağlantılı teorem formülündeki kosinüs eşittir (kolayca kanıtlanabilir, burada verildiği gibi alacağız). Ve (kareli Öklid normu) , ortalanmış bir değişkende karelerin toplamıdır. Yani teoremin formülü şöyle görünür: D 2 r r h 2 N σ 2 D 2 x y = N σ 2 x + N σ 2 y - 2 $D^2= \Sigma d_i^2$$D^2$$r$$r$$h^2$$N \sigma^2$D$D_{xy}^2 = N\sigma_x^2+N\sigma_y^2-2\sqrt N\sigma_x \sqrt N \sigma_yr$. Lütfen başka bir önemli noktaya dikkat edin (ayrı olarak kanıtlanması gerekebilir): Veriler sıralandığında , ortalanmış ve ortalanmamış veriler için aynıdır.$D^2$

Ayrıca, iki değişken sıralandığından varyansları aynıdır, , dolayısıyla .D 2 = 2 N σ 2 - 2 N σ 2$\sigma_x=\sigma_y=\sigma$$D^2 = 2N\sigma^2-2N\sigma^2r$

(N2-1)/12r=1-6D$r= 1-\frac{D^2}{2N\sigma^2}$ . Sıralanan verilerin varyans sahip ayrı bir düzgün dağılımdan geldiğini hatırlayın . Formül içine yerleştirildiğinde kalır .$(N^2-1)/12$$r= 1-\frac{6D^2}{N(N^2-1)}$

Cebir, ilk göründüğünden daha basittir.

IMHO, cebirsel manipülasyonları belamorlamakla elde edilen çok az kar ya da içgörü vardır. Bunun yerine, gerçekten basit bir kimlik, kare farklılıkların (normal Pearson) korelasyon katsayısını ifade etmek için neden kullanılabileceğini gösterir. Bunu verilerin sıralandığı özel duruma uygulamak sonucu verir. Şimdiye kadar gizemli katsayıyı sergiliyor

$$\frac{6}{n(n^2-1)}$$

. kademelerin varyansının yarısı olarak . (Bağlar mevcut olduğunda, bu katsayı daha karmaşık bir formül elde eder, ancak yine de verilere atanan sıralamaların varyansının yarısı kalacaktır .)$1, 2, \ldots, n$

Bunu gördükten ve anladıktan sonra, formül unutulmaz hale gelir. Bağları işleyen, Wilcoxon sıra toplamı testi gibi parametrik olmayan istatistiksel testlerde ortaya çıkan veya mekansal istatistiklerde (Moran I, Geary's C ve diğerleri gibi) ortaya çıkan karşılaştırılabilir (ancak daha karmaşık) formüller anında anlaşılabilir hale gelir.

---

Eşleştirilmiş her türlü veri kümesi düşünün araçlarla ve ve sapma ve . Değişkenleri ve araçlarına yeniden ve standart sapmaları ve ölçüm birimleri olarak kullanarak veriler standart değerler açısından yeniden ifade edilecektir.ˉ X ˉ Y s 2 X s 2 Y ˉ X ˉ Y s X s $(X_i,Y_i)$$\bar X$$\bar Y$$s_X^2$$s_Y^2$$\bar X$$\bar Y$$s_X$$s_Y$

$$(x_i, y_i) = \left(\frac{X_i-\bar X}{s_X}, \frac{Y_i-\bar Y}{s_Y}\right).$$

Tanım olarak , orijinal verilerin Pearson korelasyon katsayısı, standart değerlerin ortalama ürünüdür,

$$\rho = \frac{1}{n}\sum_{i=1}^n x_i y_i.$$

Polarizasyon Kimlik kareler ürünleri ile ilgilidir. İki ve için şunu belirtir:$x$$y$

$$xy = \frac{1}{2}\left(x^2 + y^2 - (x-y)^2\right),$$

ki bu kolayca doğrulanabilir. Bunu toplamdaki her terime uygulamak

$$\rho = \frac{1}{n}\sum_{i=1}^n \frac{1}{2}\left(x_i^2 + y_i^2 - (x_i-y_i)^2\right).$$

Çünkü ve standardize edilmiş, bunların ortalama kareler hem birlik, nereden vardıry $x_i$$y_i$

$$\rho = \frac{1}{2}\left(1 + 1 - \frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right) = 1 - \frac{1}{2}\left(\frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right).\tag{1}$$

Korelasyon katsayısı, olası maksimum değerinden , standart verilerin ortalama kare farkının yarısı kadar farklıdır.$1$

Bu, orijinal verilerin ne olursa olsun geçerli olan korelasyon için evrensel bir formüldür (yalnızca her iki değişkenin de sıfır olmayan standart sapmalara sahip olması şartıyla). (Bu sitenin sadık okuyucuları, bunun yalnızca ortalamayı anlayan birine kovaryansı nasıl açıklarsınız? ) Bölümünde açıklanan ve gösterilen kovaryansın geometrik karakterizasyonu ile yakından ilişkili olduğunu kabul edeceklerdir .)

---

Özel durumda, ve olan ayrı sıralarında , her sayılar aynı dizinin bir permütasyon . Böylece ve küçük bir hesaplama ileY i 1 , 2 , … , n ˉ X = ˉ Y = ( n + 1 ) /$X_i$$Y_i$$1,2 , \ldots, n$$\bar X = \bar Y = (n+1)/2$

$$s_X^2 = s_Y^2 = \frac{1}{n} \sum_{i=1}^n (i - (n+1)/2)^2 = \frac{n^2 - 1}{12}$$

( olduğunda, mutlulukla sıfır değildir ). bu nedenle$n\gt 1$

$$(x_i - y_i)^2 = \frac{\left((X_i - (n+1)/2)- (Y_i - (n+1)/2)\right)^2}{(n^2-1)/12} = \frac{12(X_i-Y_i)^2}{n^2-1}.$$

Bu hoş basitleştirme, ve aynı araçlara ve standart sapmalara sahip olduğu için meydana geldi : bu nedenle araçlarının farkı ortadan kalktı ve ürünü , kare kök içermeyen oldu .Y i s X s Y s 2 $X_i$$Y_i$$s_X s_Y$$s_X^2$

Formül içine bu takma için verir$(1)$$\rho$

$$\rho = 1 - \frac{6}{n(n^2-1)}\sum_{i=1}^n (X_i - Y_i)^2.$$

Lise öğrencileri PMCC ve Spearman korelasyon formüllerini sigma notasyonunu manipüle etmek için cebir becerilerine sahip olmadan yıllar önce görebilirler, ancak bir dizi için polinom denklemini çıkarmak için sonlu farklar yöntemini iyi bilebilirler . Bu yüzden denklik için bir "lise kanıtı" yazmaya çalıştım: paydayı sonlu farklar kullanarak bulma ve paydaki toplamların cebirsel manipülasyonunu en aza indirme. Kanıtın sunulduğu öğrencilere bağlı olarak, pay için bu yaklaşımı tercih edebilirsiniz, ancak payda için daha geleneksel bir yöntemle birleştirebilirsiniz.

Payda ,$\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}$

Bağ olmadan, veriler bir sıradaki sıralarıdır, bu nedenle yi göstermek kolaydır . Bu toplamı yeniden düzenlemek için , ancak daha düşük sınıf öğrencileriyle bu toplamı sigma gösteriminden ziyade açıkça yazacağım. cinsinden bir kuadratik değerin toplamı cinsinden kübik olacaktır , sonlu fark yöntemine aşina olan öğrencilerin sezgisel olarak kavrayabileceği bir gerçek: kübik bir farkı kuadratik üretir, bu nedenle kuadratik bir toplamı kübik üretir. Kübik katsayılarının belirlenmesi, eğer öğrenciler rahat bir şekilde manipüle ediyorsa, basittirˉ x = n + $\{1, 2,\dots, n\}$$\bar{x}=\frac{n + 1}{2}$$S_{xx}=\sum_{i=1}^{n} (x_i-\bar{x})^2 = \sum_{k=1}^{n} (k-\frac{n + 1}{2})^2$$k$$n$$f(n)$$\Sigma$gösterim ve ve formüllerini ve (ve unutmayın!) . Ancak, aşağıdaki gibi sonlu farklar kullanılarak da çıkarılabilirler.$\sum_{k=1}^{n} {k}$$\sum_{k=1}^{n} {k^2}$

Zaman , veri kümesi, sadece bir , yüzden .$n=1$$\{1\}$$\bar{x}=1$$f(1)=(1-1)^2 = 0$

İçin , verilerdir , yüzden .$n=2$$\{1, 2\}$$\bar{x}=1.5$$f(2)=(1-1.5)^2 + (2-1.5)^2 = 0.5$

İçin , veriler , , yani .$n=3$$\{1, 2, 3\}$$\bar{x}=2$$f(3)=(1-2)^2 + (2-2)^2 + (3-2)^2 = 2$

Bu hesaplamalar oldukça kısadır ve notasyonunun ne anlama geldiğini güçlendirmeye yardımcı olur ve kısa sürede sonlu farklar tablosunu .$\sum_{i=1}^{n} (x_i-\bar{x})^2$

Yukarıdaki bağlantılarda ana hatlarıyla belirtilen sonlu farklar yöntemini çıkararak katsayılarını elde edebiliriz . Örneğin, sabit üçüncü farklılıklar polinomumuzun gerçekten kübik olduğunu ve önde gelen katsayısı . Drudgery'yi en aza indirgemek için birkaç püf noktası vardır: iyi bilinen bir, bilmek sabit katsayıyı verdiğinden , diziyi geri uzatmak için ortak farklılıkları kullanmaktır . Bir diğeri, tamsayısı için sıfır olup olmadığını görmek için sekansı genişletmeyi denemektir.$f(n)$$\frac{0.5}{3!} = \frac{1}{12}$$n=0$$f(0)$$f(n)$$n$- örneğin, dizi pozitif fakat azalmış olsaydı, daha sonra çarpanlara ayırmayı kolaylaştıracağından, "bir kök yakalayıp yakalayamayacağımızı" görmek doğru bir şekilde genişletilmeye değer olurdu. Bizim durumumuzda, fonksiyon küçükken düşük değerlerin etrafında dolaşıyor gibi görünüyor , bu yüzden sola doğru daha da uzatalım.$n$

Aha! Görünen o ki üç kökü de yakaladık: . Dolayısıyla polinomun , ve faktörleri vardır . Kübik olduğu için şu şekilde olmalıdır:$f(-1) = f(0) = f(1) = 0$$(n+1)$$n$$(n-1)$

$$f(n) = an(n+1)(n-1)$$

Biz görebilirsiniz katsayısı olmalıdır zaten olduğu belirlendi . Çünkü Seçenek olarak ise, Elimizdeki , aynı sonuca olan potansiyel. İki karenin farkını genişletmek şunları verir:$a$$n^3$$\frac{1}{12}$$f(2) = 0.5$$a(2)(3)(1)=0.5$

$$S_{xx} = \frac{n(n^2-1)}{12}$$

Aynı argüman için de geçerli olduğundan , payda ve bitti. Açıklamamı görmezden gelen bu yöntem şaşırtıcı derecede kısa. Eğer polinomun kübik olduğunu belirleyebilirse, üçüncü farkı belirlemek için vakaları için sadece hesaplamak . Kök avcıları, diziyi yalnızca üç kök bulunduğunda, ve sola doğru genişletmelidir . bu şekilde birkaç dakika sürdü .$S_{yy}$$\sqrt{S_{xx} S_{yy}} = \sqrt{S_{xx}^2} = S_{xx}$$S_{xx}$$n \in \{1,2,3,4\}$$n=0$$n=-1$$S_{xx}$

Pay, $\sum_i(x_i-\bar{x})(y_i-\bar{y})$

düzenlenebilir kimliğini not ediyorum :$(b-a)^2 \equiv b^2 - 2ab + a^2$

$$ab \equiv \frac{1}{2}\left(a^2 + b^2 - (b-a)^2 \right)$$

Biz izin Eğer ve Elimizdeki elde edilen faydalı sonuç, özdeş oldukları anlamına gelir, çünkü iptal edilir. Kimliğimi ilk başta yazma sezgim buydu; Anların ürünü ile çalışmaktan farklılıklarının karesine geçmek istedim. Şimdi var:$a = x_i - \bar{x} = x_i - \frac{n+1}{2}$$b = y_i - \bar{y} = y_i - \frac{n+1}{2}$$b-a = y_i - x_i = d_i$

$$(x_i - \bar{x})(y_i - \bar{y}) = \frac{1}{2}\left((x_i - \bar{x})^2 + (y_i - \bar{y})^2 - d_i^2 \right)$$

Umarım öğrenciler bile nasıl manipüle edileceğinden emin değildir notasyonu veri kümesi üzerinde toplamanın nasıl sonuç verdiğini görebilir:$\Sigma$

$$S_{xy} = \frac{1}{2}\left(S_{xx} + S_{yy} - \sum_{i=1}^n{d_i^2}\right)$$

Toplamları yeniden bizi şu şekilde bıraktığını :$S_{yy} = S_{xx}$

$$S_{xy}=S_{xx} - \frac{1}{2} \sum_{i=1}^n{d_i^2}$$

Spearman'ın korelasyon katsayısı formülü kavrayışımızda!

$$r_S = \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} = \frac{S_{xx}-\frac{1}{2}\sum_i{d_i^2}}{S_{xx}} = 1 - \frac{\sum_i{d_i^2}}{2S_{xx}}$$

in önceki sonucunu değiştirmek işi bitirir.$S_{xx}=\frac{1}{12}n(n^2-1)$

$$r_S = 1 - \frac{\sum_i{d_i^2}}{\frac{2}{12}n(n^2-1)} = 1 - \frac{6\sum_i{d_i^2}}{n(n^2-1)}$$