Değişken sayıda derecelendirmeyle R'de değerlendiriciler arası güvenilirlik hesaplanıyor mu?

Wikipedia, değerlendiriciler arası güvenilirliğe bakmanın bir yolunun, sınıf içi korelasyonu hesaplamak için rastgele bir etki modeli kullanmak olduğunu ileri sürmektedir . Sınıf içi korelasyon örneği,

\frac{σ_{α}^{2}}{σ_{α}^{2} + σ_{ϵ}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

bir modelden

Y_{i j} = μ + α_{i} + ϵ_{i j}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

"Y burada _ij j ^inci gözlem i ^inci grubu, μ gözlemlenmeyen genel ortalama α olduğu _I grup i tüm değerler tarafından paylaşılan gözlemlenmeyen rasgele bir etkidir ve e _ij gözlemlenmeyen gürültü terimdir."

Bu çekici bir model, çünkü verilerimde hiçbir rater her şeyi (çoğu 20+ olarak derecelendirilmiş olmasına rağmen) derecelendirmedi ve işler değişken sayıda (genellikle 3-4) derecelendirildi.

Soru # 0: Bu örnekte "grup i" ("grup i") derecelendirilen şeylerin bir gruplaması mı?

Soru # 1: Değerlendiriciler arası güvenilirlik arıyorsanız, biri değerlendirici diğeri derecelendirilen şey için iki terim içeren rastgele efekt modeline ihtiyacım yok mu? Sonuçta, her ikisinin de olası varyasyonu var.

Soru # 2: Bu modeli R'de en iyi nasıl ifade edebilirim?

Bu sorunun hoş görünümlü bir teklifi var gibi görünüyor :

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Birkaç soruya baktım ve lme için "random" parametresinin sözdizimi bana opak geldi. Lme için yardım sayfasını okudum , ancak "rasgele" için açıklama örneksiz benim için anlaşılmaz.

Bu soru bir biraz benzer uzun listenin içinde sorularla birlikte, bu en yakın. Ancak, çoğu R'yi ayrıntılı olarak ele almaz.

r reliability random-effects-model agreement-statistics

— dfrankow
kaynak

Karışık efekt modeli ve rastgele efekt olanlar R'de aynı şekilde kodlanır. Daha fazla bilgi için bkz. Ncbi.nlm.nih.gov/pmc/articles/PMC3402032 !

— noé

Sorunuzda referans verdiğiniz modele "tek yönlü model" denir. Rasgele sıra efektlerinin tek sistematik varyans kaynağı olduğunu varsayar. Değerlendiriciler arası güvenilirlik durumunda, satırlar ölçüm nesnelerine (örn. Özneler) karşılık gelir.

Tek yönlü model : burada tüm nesneler için ortalama, satır efekti ve kalan etkidir.
$x_{i j} = μ + r_{i} + w_{i j}$ $x_{ij} = \mu + r_i + w_{ij}$ $\mu$ $r_i$ $w_{ij}$

Ancak, "iki yönlü modeller" de vardır. Bunlar, rastgele satır efektlerinin yanı sıra rastgele veya sabit sütun efektleriyle ilişkili varyans olduğunu varsayar. Değerlendiriciler arası güvenilirlik durumunda, sütunlar ölçüm kaynaklarına (ör. Derecelendiriciler) karşılık gelir.

İki yönlü modeller : burada herkes için ortalamadır nesneler, satır efekti, sütun efekti, etkileşim efekti ve kalan etkidir. Bu iki model arasındaki fark, etkileşim etkisinin dahil edilmesi veya hariç tutulmasıdır.
$x_{i j} = μ + r_{i} + c_{j} + r c_{i j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ $x_{i j} = μ + r_{i} + c_{j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ $\mu$ $r_i$ $c_j$ $rc_{ij}$ $e_{ij}$

İki yönlü bir model verildiğinde, dört ICC katsayısından birini hesaplayabilirsiniz: tek puan tutarlılığı ICC (C, 1), ortalama puan tutarlılığı ICC (C, k), tek puan sözleşmesi ICC (A, 1) veya ortalama puan anlaşması ICC (A, k). Tek puanlı ICC'ler tekli ölçümler için geçerlidir x_ (örneğin, bireysel puanlayıcılar), ortalama puanlı ICC'ler ortalama ölçümler (örneğin, tüm puanlayıcıların ortalaması). Tutarlılık ICC'leri sütun varyansını payda varyansından hariç tutar (örneğin, derecelendiricilerin kendi araçları etrafında değişmesine izin verirken), anlaşma ICC'leri payda varyansındaki sütun varyansını içerir (örneğin, değerlendiricilerin aynı ortalama etrafında değişmesini gerektirir). $x_{ij}$ $\bar{x}_i$

Rasgele bir sütun efekti varsa, tanımlar:

İki Yönlü Rastgele Etkiler ICC Tanımları (etkileşim etkisi ile veya etkileşim etkisi olmadan) :
$I C C (C, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $I C C (C, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2} / k}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $I C C (A, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $I C C (A, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2}) / k}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

Bu değerleri ANOVA'nın ortalama karelerini kullanarak da tahmin edebilirsiniz:

İki yönlü ICC Tahminleri :
$I C C (C, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $I C C (C, k) = \frac{M S_{R} - M S_{E}}{M S_{R}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $I C C (A, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E} + k / n (M S_{C} - M S_{E})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $I C C (A, k) = \frac{M S_{R} - M S_{E}}{M S_{R} + (M S_{C} - M S_{E}) / n}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

İrr paketini kullanarak R'deki bu katsayıları hesaplayabilirsiniz :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Referanslar

McGraw, KO ve Wong, SP (1996). Bazı sınıf içi korelasyon katsayıları hakkında çıkarımlar oluşturma. Psikolojik Yöntemler, 1 (1), 30-46.

Shrout, PE ve Fleiss, JL (1979). Sınıf içi korelasyonlar: Değerlendirici güvenilirliğini değerlendirmede kullanır. Psikolojik Bülten, 86 (2), 420-428.

— Jeffrey Girard
kaynak

Harika cevap için teşekkürler! R'deki icc içinde iki yönlü bir modelde, sıra başına rasgele raster seçimini nasıl temsil ederiz? Demek istediğim, 100 değerlendiriciden oluşan bir havuzumuz olduğunu ve her konunun yaklaşık 5-10 tanesi tarafından derecelendirildiğini hayal edin. Böyle bir senaryo icc paketi ile ele alınabilir mi?

— michal

Her puancının icc işlevine beslediğiniz matriste kendi sütunu olmalıdır. Aksi takdirde, hesaplama rastgele ve karışık efekt modelleri için aynıdır - ana fark yorumlamadadır (sonuçların ne kadar genelleştirilebilir olduğu düşünülebilir).

— Jeffrey Girard

Cevap için teşekkürler! Bunu yapmaya çalışıyorum, çoğunlukla hücrelerde NA (ve sütun başına gerçek sayıları ile sadece birkaç değer, burada belirli bir rater bir satır karşılık gelen bir konu puan). Ancak, çıktıda hiçbir öznenin kaydedilmediğini belirten bir metin alıyorum (örneğin, Konular = 0 Puanlar = 9). Belki de en az bir NA'nın bulunduğu her yerde tüm sıranın filtrelendiği anlamına gelir? Ama sonra bir puanlayıcıdan eksik puanları nasıl belirtebilirim?

— michal

Hmm, bu belirli icc işlevinin bir sınırlaması olabilir. Bu durumu ele alabilecek bir MATLAB komut dosyası var. MATLAB'a erişiminiz var mı?

— Jeffrey Girard

Evet, web siteme göz atın

— Jeffrey Girard