Hesaplama Cohen'in Kappa varyansı (ve standart hatalar)

Kappa ( $\kappa$ ) istatistiği, 1960 yılında, iki puanlayıcı arasındaki anlaşmayı ölçmek için Cohen [1] tarafından tanıtıldı. Bununla birlikte, varyansı bir süredir çelişkilerin kaynağı olmuştur.

Benim sorum büyük örneklemlerde kullanılacak en iyi varyans hesaplamasının hangisi olduğu hakkında. Fleiss [2] tarafından test edilen ve doğrulanan birinin doğru seçim olduğuna inanmaya meyilliyim, ancak bu doğru gibi görünen (ve oldukça yeni literatürde kullanılmış) tek yayınlanmış görünmüyor.

Şu anda asimptotik büyük örneklem varyansını hesaplamak için iki somut yolum var:

• Fleiss, Cohen ve Everitt [2] tarafından yayınlanan düzeltilmiş yöntem;
• Kitapta Colgaton tarafından bulunabilecek delta yöntemi, 2009 [4] (sayfa 106).

Bu karışıklığı açıklamak için, Fleiss, Cohen ve Everitt [2] tarafından yapılan bir alıntı, benimkine vurgu yapıyor:

Nihai başarıya ulaşılmadan önce birçok insan çabası tekrarlanan başarısızlıklarla lanetlendi. Everest Dağı'nın ölçeklendirilmesi buna bir örnektir. Kuzeybatı Geçidi'nin keşfi ikinci. Kappa için doğru bir standart hatanın türetilmesi üçte birdir .

Yani, burada olanların küçük bir özeti:

• 1960: Cohen gazetesini "Nominal ölçekler için anlaşmanın bir katsayısını" yayınlamaktadır [1] olarak adlandırılan iki raters arasındaki anlaşmanın onun şansı düzeltilmiş tedbirler getirmek . Bununla birlikte, varyans hesaplamaları için yanlış formüller yayınlamaktadır.$\kappa$
• 1968: Everitt onları düzeltmeye çalıştı, ancak formülleri de yanlıştı.
• 1969: Fleiss, Cohen ve Everitt "Kappa ve Ağırlıklı Kappa Büyük Örnek Standart Hataları" adlı makalesinde doğru formülleri yayınladı [2].
• 1971: Fleiss , aynı ad altında, farklılıklar için yanlış formüllerle başka bir istatistiği yayınladı (ancak farklı bir tane).$\kappa$
• 1979: Fleiss Nee ve Landis, Fleiss'in için düzeltilmiş formüllerini yayınladı .$\kappa$

İlk başta, aşağıdaki gösterimi dikkate alın. Bu gösterim, toplama işlecinin noktanın yerleştirildiği boyuttaki tüm öğelere uygulanması gerektiğini belirtir:

$\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij}$ p . j = k ∑ i = 1 p i j$\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij}$

Şimdi, biri Kappa'yı şu şekilde hesaplayabilir:

$\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e}$

Hangi içinde

$\ \ \ p_o = \displaystyle\sum_{i=1}^{k} p_{ii}$ gözlenen anlaşma ve

$\ \ \ p_c = \displaystyle\sum_{i=1}^{k} p_{i.} p_{.i}$ şans anlaşmasıyım.

Şimdiye kadar, Cohen'in $\kappa$ için doğru varyans hesaplaması şöyle yapılır:

$\ \ \ \newcommand{\var}{\mathrm{var}}\widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^4} \{ \displaystyle\sum_{i=1}^{k} p_{ii}[(1-p_o) - (p_{.i} + p_{i.})(1-p_o)]^2 \\ \ \ \ + (1-p_o)^2 \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1 \atop i\not=j}^{k} p_{ij} (p_{.i} + p_{j.})^2 - (p_op_c-2p_c+p_o)^2 \}$

ve sıfır hipotezi altında şöyle verilir:

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^2} \{ \displaystyle\sum_{i=1}^{k} p_{.i}p_{i.} [1- (p_{.i} + p_{i.})^2] + \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1, i\not=j}^{k} p_{.i}p_{j.}(p_{.i} + p_{j.})^2 - p_c^2 \}$

Congalton'un metodu varyans elde etmek için delta metoduna dayanıyor gibi görünmektedir (Agresti, 1990; Agresti, 2002); ancak delta yönteminin ne olduğundan veya neden kullanılması gerektiğinden emin değilim. varyans, bu yöntem kapsamında, aşağıdaki eşitlikle verilir:$\kappa$

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{n} \{ \frac{\theta_1 (1-\theta_1)}{(1-\theta_2)^2} + \frac{2(1-\theta_1)(2\theta_1\theta_2-\theta_3)}{(1-\theta_2)^3} + \frac{(1-\theta_1)^2(\theta_4-4\theta_2^2)}{(1-\theta_2)^4} \}$

içinde

$\ \ \ \theta_1 = \frac{1}{n} \displaystyle\sum_{i=1}^{k} n_{ii}$

$\ \ \ \theta_2 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{i+}n_{+i}$

$\ \ \ \theta_3 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{ii}(n_{i+} + n_{+i})$

$\ \ \ \theta_4 = \frac{1}{n^3} \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{k} n_{ij}(n_{j+} + n_{+i})^2$

(Congalton bir kullanan daha çok simge , Ancak aynı şey anlamına görünmektedir. Buna ek olarak, varsayarak am bir sayma matris olmalıdır, yani numune sayısı bölü önce karışıklık matrisi formülüyle ilgili )$+$$.$$n_{ij}$$p_{ij} = \frac{n_{ij}}{\mathrm{samples}}$

Diğer bir tuhaf bölüm, Colgaton'un kitabının orijinal makaleyi Cohen'e gönderme gibi görünmesidir, ancak Fleiss ve arkadaşlarının yayınlanan Kappa varyansındaki düzeltmeleri, Kappa hakkında tartışmaya devam edene kadar göstermediği görülmektedir. Belki de ilk yayını kappa'nın gerçek formülü hala kargaşada kaybolurken yazılmıştı?

Birisi bu farklılıkların nedenini açıklayabilir mi? Veya neden biri Fleiss tarafından düzeltilmiş versiyonu yerine delta metodu varyansını kullanıyor?

[1]: Fleiss, Joseph L .; Cohen, Jacob; Everitt, BS; Kappa ve ağırlıklı kappa büyük örnek standart hataları. Psikolojik Bülten, Cilt 72 (5), Kasım 1969, 323-327. doi: 10.1037 / h0028106

[2]: Cohen, Jacob (1960). Nominal ölçekler için anlaşma katsayısı. Eğitim ve Psikolojik Ölçüm 20 (1): 37–46. DOI: 10,1177 / 001316446002000104.

[3]: Alan Agresti, Kategorik Veri Analizi, 2. baskı. John Wiley ve Oğulları, 2002.

[4]: Russell G. Congalton ve Green, K .; Uzaktan Algılanan Verilerin Doğruluğunu Değerlendirme: İlkeler ve Uygulamalar, 2. baskı. 2009.

Varyansı hesaplamanın iki yolundan hangisini tercih edeceğimi bilmiyorum ama Cohen's Kappa'nın Bayesian tahminini kullanarak güven / güvenilir aralıkları hesaplamanız için size üçüncü, pratik ve kullanışlı bir yol verebilirim.

Aşağıdaki R ve JAGS kodu, veriler verilen Kappa'nın güvenilir değerlerinin posterior dağılımından MCMC numuneleri oluşturur.

library(rjags)
library(coda)
library(psych)

# Creating some mock data
rater1 <- c(1, 2, 3, 1, 1, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3) 
rater2 <- c(1, 2, 2, 1, 2, 2, 3, 1, 3, 1, 2, 3, 2, 1, 1) 
agreement <- rater1 == rater2
n_categories <- 3
n_ratings <- 15

# The JAGS model definition, should work in WinBugs with minimal modification
kohen_model_string <- "model {
  kappa <- (p_agreement - chance_agreement) / (1 - chance_agreement)
  chance_agreement <- sum(p1 * p2)

  for(i in 1:n_ratings) {
    rater1[i] ~ dcat(p1)
    rater2[i] ~ dcat(p2)
    agreement[i] ~ dbern(p_agreement)
  }

  # Uniform priors on all parameters
  p1 ~ ddirch(alpha)
  p2 ~ ddirch(alpha)
  p_agreement ~ dbeta(1, 1)
  for(cat_i in 1:n_categories) {
    alpha[cat_i] <- 1
  }
}"

# Running the model
kohen_model <- jags.model(file = textConnection(kohen_model_string),
                 data = list(rater1 = rater1, rater2 = rater2,
                   agreement = agreement, n_categories = n_categories,
                   n_ratings = n_ratings),
                 n.chains= 1, n.adapt= 1000)

update(kohen_model, 10000)
mcmc_samples <- coda.samples(kohen_model, variable.names="kappa", n.iter=20000)

Aşağıdaki grafik, Kappa'nın posterior dağılımından gelen MCMC numunelerinin bir yoğunluk grafiğini göstermektedir.

MCMC örneklerini kullanarak artık Medyan değerini Kappa'nın bir tahmini olarak kullanabiliriz ve% 2,5 ve% 97,5'lik nicelikleri% 95 güven / güvenilir aralık olarak kullanabiliriz.

summary(mcmc_samples)$quantiles
##      2.5%        25%        50%        75%      97.5% 
## 0.01688361 0.26103573 0.38753814 0.50757431 0.70288890 

Bunu Fleiss, Cohen ve Everitt'e göre hesaplanan "klasik" tahminlerle karşılaştırın:

cohen.kappa(cbind(rater1, rater2), alpha=0.05)
##                  lower estimate upper
## unweighted kappa  0.041     0.40  0.76

Şahsen, özellikle de Bayesian güven aralığının daha küçük örnekleme özelliklerine sahip olduğuna inandığım için klasik güven aralığı boyunca Bayesian güven aralığını tercih ederdim. İnsanların Bayesan analizlerinde sahip olma eğiliminde olan ortak bir endişe, parametrelerin dağılımına ilişkin önceki inançları belirtmeniz gerektiğidir. Neyse ki, bu durumda, tüm parametreler üzerinde tekdüze dağılımlar koyarak, "amaç" önceliklerini oluşturmak kolaydır. Bu, Bayesian modelin sonucunu Kappa katsayısının "klasik" bir hesaplamasına çok benzer kılmalıdır.

Referanslar

Sanjib Basu, Mousumi Banerjee ve Ananda Sen (2000). Tek ve Çoklu Çalışmalardan Kappa İçin Bayesci Çıkarım. Biometrics , Vol. 56, No. 2 (Jun, 2000), sayfa 577-582