Spearman korelasyon katsayısı arasındaki fark testi

(Hızlı yanıtlar için çok teşekkürler! Soruyu sormak için kötü bir iş yaptım, bu yüzden tekrar deneyeyim.)

İki Spearman korelasyonu arasındaki farkın istatistiksel olarak anlamlı olup olmadığını nasıl anlayacağımı bilmiyorum. Nasıl bulacağımı bilmek istiyorum.

Öğrenmek istediğim neden şu makalede: Doğal Dil İşleme için Wikipedia tabanlı Anlamsal Yorum , Gabrilovich ve Markovitch ( Journal of Artificial Intelligence Research 34 (2009) 443-498).

Tablo 2'de (s. 457), yazarlar yöntemlerinin (ESA-Wikipedia) diğer yöntemlerden daha yüksek ve istatistiksel olarak anlamlı bir Spearman korelasyonu elde ettiğini gösteriyorlar ve ben de yöntemimin öncekinden daha iyi olduğunu göstermek için aynısını yapmak istiyorum bazı problemler için yöntemler.

İstatistiksel önemi nasıl hesapladıklarını bilmiyorum ve bilmek istiyorum. Makalenin yazarı Spearman'ın rütbe korelasyonunun Pearson korelasyonu olarak ele alındığını belirtmiştir. Bunu yapmanın doğru yolu olup olmadığından emin değilim. İki Spearman korelasyonum var ve aralarındaki farkın istatistiksel olarak anlamlı olup olmadığını bilmek istiyorum.

Http://faculty.vassar.edu/lowry/rdiff.html gibi web sitelerinin iki Pearson korelasyonu arasındaki farkı elde etmek için çevrimiçi hesap makinesi sağladığını biliyorum . İki Spearman korelasyonu arasındaki fark için benzer bir çevrimiçi hesap makinesi bulamıyorum.

Peter Flom tarafından sağlanan bağlantıdan bir çözüm

NOT: Prosedürler sadece 0.6'ın altındaki Spearman korelasyonlarını destekler.

Let = Fisher resim gözlenen ilişki dönüşümü , = Fisher resim gözlenen ilişkinin dönüşümü . $z_A$ $A$ $z_B$ $B$
İçin , izin , Fisher resim dönüşümü olan bir-sol silme ile elde edilen korelasyon üzerinden , yeniden sıralama ve korelasyon yeniden işlem. (Her çiftini temel alır ; her silme işlemi geçicidir, bunun için sadece i kalıcıdır.) setini tekrarlayın . $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ $n-1$ $B$
$\bar y_A = \sum y_{A_i}/n$ jackknifed Fisher dönüşümüdür. Set için tekrarlayın . $B$
$v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ varyansıdır . Set için tekrarlayın . $\bar y_A$ $B$
İki çakı tahminini karşılaştırmak için bir heterossedastik (Welch-Satterthwaite) testi kullanın: $t$

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$ burada ve , sırasıyla ve setinin örnek sayısıdır .

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

İlk düzenlemeden önce

İnsan puanlı bir sıralama kümem (İNSAN-SIRALAMA), şu anda kullanılan, popüler yöntemle (SUNUM-SIRALAMA) oluşturulan bir sıralama kümesi ve son olarak benim amaçlanan yöntem (MY-RANKING) tarafından oluşturulan bir dizi sıralama var .

Spearman'ın İNSAN-SIRALAMA ve SUNUM-SIRALAMA arasındaki korelasyonunu hesapladım. Şunu söyleyeyim: İNSAN-BAŞKAN-SPEARMAN.

Daha sonra Spearman'ın İNSAN-SIRALAMA ve MY-SIRALAMA arasındaki korelasyonunu öğrendim. Şunu söyleyeyim: İNSAN-MY-SPEARMAN.

HUMAN-MY-SPEARMAN ve HUMAN-PRESENT-SPEARMAN arasındaki farkın istatistiksel olarak anlamlı olup olmadığını nasıl öğrenebilirim?

hypothesis-testing statistical-significance spearman-rho

— Patrick Chan
kaynak

Hoş geldin Patrick. Aynı konu ile mücadele ediyorum ama Pearson r. Girişlerimi kontrol ederseniz, neler yapabileceğiniz hakkında bir fikir edineceksiniz.

— Adhesh Josh

Bu soruyu istatistiksel olarak çerçevelemede zorluğunuz olsa da - tam olarak neyle ilgilendiğinizi biliyor olsaydık faydalı olacaktır. Korelasyonun yakınlığıyla (puanların birbirini ne kadar yakından tahmin ettiği) veya bir ilişkinin varlığıyla ilgileniyor musunuz? şanstan daha fazlası. Sıralı veriye sahip olduğunuz göz önüne alındığında, zaman içinde tekrarlanan sınıf içi korelasyon katsayıları üzerinde bazı okumalar yapmak yararlı olabilir. Umarım bu hakkım vardır, soru tamamen açık değildir.

— rosser

Teşekkürler Adhesh ve rosser. Sorumun kötü açıklaması için üzgünüm. Yeniden yazdım. Umarım anlaşılabilir bir soru haline gelmiştir.

— Patrick Chan

Selam! Şu anda aynı problemle mücadele ediyorum. Herhangi bir şansla önerinizi uygulayan bir kod hazır mı? Ayrıca, neden yalnızca 0.6'ın altındaki korelasyon değerleri için çalışır?

— fsociety

Alıntı yaptığınız makale yöntemi aşağıdaki terimlerle açıklamaktadır:

[...] Fisher z-dönüşümü (Press, Teukolsky, Vetterling ve Flannery, Sayısal) kullanarak ESA-Wikipedia (26 Mart 2006) sürümünün performansı ile diğer algoritmalar arasındaki farkın istatistiksel önemini gösteriyoruz C'deki Tarifler: Bilimsel Hesaplama Sanatı Cambridge Üniversitesi Yayınları, 1997, Bölüm 14.5).

Bu referansı izlemenizi veya ayrıntılar için Spearman katsayısındaki Wikipedia sayfasına bakmanızı öneririm .

— Guillermo G.
kaynak

Teşekkürler Guillermo. Spearman sıra korelasyonunu Pearson korelasyonu olarak ele aldıklarından ve iki Pearson korelasyonunun farkını hesapladıklarından şüphelendim. Ancak, bana öyle geliyor ki bunu yapmanın doğru yolu değil, bu yüzden burada bir yazı yapıyorum.

— Patrick Chan

Belki de çalışan bir uygulamayı (tercihen çevrimiçi) biliyor musunuz, çünkü OP'nin peşinde olduğu şey bu mu?

— chl