Bu yazıda , karışık etki modellemesi ile bir ölçümün tekrarlanabilirliğini (diğer bir deyişle güvenilirlik, sınıf içi korelasyon) nasıl hesaplayacağımı anladım . R kodu şöyle olurdu:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Bu yaklaşımın, etkilerin güvenilirliğini hesaplamak için de kullanılabileceğine inanıyorum (örneğin, 2 seviyeli bir değişkenin toplam kontrast etkisi):

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Üç soru:

Bir etkinin tekrarlanabilirliğinin nokta tahminini elde etmek için yukarıdaki hesaplamalar bir anlam ifade ediyor mu?
Tekrarlanabilirliği tahmin etmek istediğim birden fazla değişkenim olduğunda, hepsini aynı uygunluğa eklemek (örneğin lmer(dv~(iv1+iv2|unit)+iv1+iv2), her efekt için ayrı bir model oluşturmaktan daha yüksek tekrarlanabilirlik tahminleri veriyor gibi görünüyor. Birden fazla etkinin dahil edilmesi artık varyansı azaltma eğiliminde olacağından bu benim için hesaplama açısından mantıklı geliyor, ancak sonuçta ortaya çıkan tekrarlanabilirlik tahminlerinin geçerli olduğu konusunda olumlu değilim. Onlar mı?
Yukarıda belirtilen yazı tekrarlanabilirlik tahminleri için güven aralıkları elde etmeme yardımcı olabilir, ancak söyleyebildiğim kadarıyla, confint(profile(fit))sadece kesişme ve etki farkları için aralıklar sağlar, buna ek olarak artık varyansın hesaplanması için zaman aralığına ihtiyaç duyacağım tekrarlanabilirlik aralığı, hayır?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Mike Lawrence
kaynak

Sanırım en azından ayarlanmamış tekrarlanabilirlik tahminleri, yani klasik sınıf içi korelasyonlar (ICC'ler) ile ilgili sorularınıza cevap verebilirim . "Düzeltilmiş" tekrarlanabilirlik tahminlerine gelince, bağladığınız kağıdın üzerinden baktım ve uyguladığınız formülün kağıtta nerede bulunduğunu gerçekten görmedim mi? Matematiksel ifadeye dayanarak, ortalama puanların tekrarlanabilirliği gibi görünüyor (bireysel puanlar yerine). Ama bunun zaten sorunuzun kritik bir parçası olduğu açık değil, bu yüzden onu görmezden geleceğim.

(1.) Bir etkinin tekrarlanabilirliğinin nokta tahminini elde etmek için yukarıdaki hesaplamalar bir anlam ifade ediyor mu?

Evet, önerdiğiniz ifade anlamlıdır, ancak önerilen formülünüzde küçük bir değişiklik yapmanız gerekir. Aşağıda, önerilen tekrarlanabilirlik katsayınızı nasıl elde edebileceğinizi gösteriyorum. Umarım bu hem katsayının kavramsal anlamını açıklığa kavuşturur hem de neden onu hafifçe değiştirmenin istenebileceğini gösterir.

Başlamak için, ilk durumda ilk tekrarlanabilirlik katsayısını alalım ve ne anlama geldiğini ve nereden geldiğini açıklayalım. Bunu anlamak, daha karmaşık ikinci durumu anlamamıza yardımcı olacaktır.

Sadece rastgele yakalamalar

Bu durumda, karışık modeli inci yanıt grubu th burada rastgele kesişir mı varyans ve kalıntıları varyansı . $i$ $j$

y_{i j} = β_{0} + u_{0 j} + e_{i j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Şimdi, iki rasgele değişkenleri arasındaki korelasyon ve olarak tanımlanır $x$ $y$

c o r r = \frac{c o v (x, y)}{\sqrt{v a r (x) v a r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

ICC / tekrarlanabilirlik katsayısı ifadesi daha sonra iki rastgele değişkenin ve aynı grubundan çizilen iki gözlem olmasını sağlamaktan gelir , ve Bunu, yukarıda verilen tanımları ve varyansların / kovaryansların özelliklerini (burada ya da göstermeyeceğim bir işlem, siz veya başkaları benim yapmamı tercih etmezse) kullanarak basitleştirirseniz, ile bitirin. $x$ $y$ $j$

I C C = \frac{c o v (β_{0} + u_{0 j} + e_{i_{1} j}, β_{0} + u_{0 j} + e_{i_{2} j})}{\sqrt{v a r (β_{0} + u_{0 j} + e_{i_{1} j}) v a r (β_{0} + u_{0 j} + e_{i_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

I C C = \frac{σ_{u_{0}}^{2}}{σ_{u_{0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$ Bunun anlamı, ICC veya "düzeltilmemiş tekrarlanabilirlik katsayısı" nın, bu durumda, aynı kümeden (bu durumda sadece en büyük ortalama olan sabit etkilerden arındırılmış olan) bir çift gözlem arasında beklenen korelasyon olarak basit bir yorumu olduğu. ICC'nin de bu durumda bir varyans oranı olarak yorumlanabilmesi gerçeği tesadüfidir; Bu yorum genel olarak daha karmaşık ICC'ler için doğru değildir. Bir çeşit korelasyon olarak yorumlanması birincil olandır.

Rasgele kavramalar ve rastgele eğimler

Şimdi, ikinci durumda, "etkilerin güvenilirliği (yani bir değişkenin 2 seviyeli bir kontrast etkisi toplamı)" ile ne ifade edildiğini net bir şekilde açıklamamız gerekiyor.

İlk önce modeli hazırladık. Karışık modeli inci yanıt altında grup th kontrast kodlanmış belirleyici inci düzey isimli rastgele işaretlerin varyansa sahip olduğu rastgele yamaçların varyansı , rastgele engeller ve eğimler kovaryansı ve kalanlar varyansı var . $i$ $j$ $k$ $x$

y_{i j k} = β_{0} + β_{1} x_{k} + u_{0 j} + u_{1 j} x_{k} + e_{i j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Peki bu model altında "bir etkinin tekrarlanabilirliği" nedir? Ben iyi bir aday tanımı aynı dahilinde hesaplanan fark puanlarının iki çift arasında beklenen ilişki olduğunu düşünüyorum küme ama gözlemlerin farklı çiftlerinde . $j$ $i$

Dolayısıyla, söz konusu fark puanları çifti olacaktır ( kontrast kodlu olduğunu varsaydığımızı unutmayın; böylece ): ve $x$ $|x_1|=|x_2|=x$

y_{i_{1} j k_{2}} - y_{i_{1} j k_{1}} = (β_{0} - β_{0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + (u_{0 j} - u_{0 j}) + u_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) = 2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{i_{2} j k_{2}} - y_{i_{2} j k_{1}} = 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

Bunları korelasyon formülüne bize bu basitleştirir ICC'nin teknik olarak bir işlevi olduğuna dikkat edin ! Bununla birlikte, bu durumda yalnızca 2 olası değeri alabilir ve ICC bu değerlerin her ikisinde de aynıdır.

I C C = \frac{c o v (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}, 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}{\sqrt{v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

I C C = \frac{2 x^{2} σ_{u_{1}}^{2}}{2 x^{2} σ_{u_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

Gördüğünüz gibi, bu, sorunuzda önerdiğiniz tekrarlanabilirlik katsayısına çok benzer, tek fark, ifade bir ICC veya "düzeltilmemiş tekrarlanabilirlik katsayısı" olarak yorumlanacaksa, rastgele eğim varyansının uygun şekilde ölçeklendirilmesi gerektiğidir. Yazdığınız ifade, belirleyicisinin kodlu olduğu özel durumda çalışır , ancak genel olarak değil. $x$ $\pm\frac{1}{\sqrt{2}}$

(2.) Tekrarlanabilirliği tahmin etmek istediğim birden fazla değişkenim olduğunda, hepsini aynı uygunluğa eklemek (örneğin lmer(dv~(iv1+iv2|unit)+iv1+iv2), her efekt için ayrı bir model oluşturmaktan daha yüksek tekrarlanabilirlik tahminleri veriyor gibi görünüyor. Birden fazla etkinin dahil edilmesi artık varyansı azaltma eğiliminde olacağından bu benim için hesaplama açısından mantıklı geliyor, ancak sonuçta ortaya çıkan tekrarlanabilirlik tahminlerinin geçerli olduğu konusunda olumlu değilim. Onlar mı?

Kendi rastgele eğimlerine sahip çoklu tahmincilere sahip bir model için yukarıda sunulan benzer bir türev üzerinden çalışmanın, yukarıdaki tekrarlanabilirlik katsayısının yine de kavramsal olarak ilgilendiğimiz fark puanlarının şu anki olacağı ek komplikasyon dışında geçerli olacağını göstereceğine inanıyorum. biraz farklı bir tanımı var: yani, modeldeki diğer tahminciler için kontrol ettikten sonra düzeltilmiş araçlar arasındaki farkların beklenen korelasyonuyla ilgileniyoruz .

Eğer diğer belirleyiciler (örneğin olduğu gibi, bir dengeli denemesi), ben ICC / tekrarlanabilirlik katsayısı herhangi bir değişiklik yapmadan çalışması gerekir yukarıda özenli düşünürdüm ilgi ongorücüye diktir. Eğer ortogonal olmasalardı, bunu hesaba katmak için formülü değiştirmeniz gerekecektir, ki bu karmaşıklaşabilir, ancak umarım cevabım bunun nasıl görünebileceği hakkında bazı ipuçları vermiştir.

— Jake Westfall
kaynak

Haklısın Jake. Düzeltilmiş ICC, VII. Kısma aittir . Bağlantılı makalede EKRAN EDİLEN TEKRARLILIK VE MİRASLILIK . Yazarlar bireysel ölçümlerin tekrarlanabilirliği ile ölçüm araçlarının tekrarlanabilirliği arasında ayrım yapmak önemlidir $R$ $R_n$ .

— Gabra

Bir lmer modelden etkilerin tekrarlanabilirliğinin hesaplanması

Sadece rastgele yakalamalar

Rasgele kavramalar ve rastgele eğimler