Meta regresyona bağımsız değişken olarak efekt boyutu ekleyebilir miyim?

Benim sorum, bir etki boyutu bağımlı değişken olarak ve başka bir etki boyutu bir meta regresyondaki bağımsız değişken olarak kullanıp kullanamayacağım ?$X$$Y$

Örneğin, egzersizin içme problemlerindeki etkileri için bir meta-analiz yaptım ve önemli sonuçlar ve yüksek heterojenlik buldum. Bir meta-regresyon yapmak ve kaygıdaki bu müdahalelerin etki boyutunu bağımsız bir değişken olarak ve içme problemlerinin etki boyutunu bağımlı bir değişken olarak kullanmak istiyorum (her çalışmanın hem anksiyete hem de içme problemlerini değerlendirdiği varsayılarak) Hedges ) olarak ölçülür .$g$

bu sana bir anlam ifade ediyor mu?

Bu (iyi) soruyu sorumlu bir şekilde cevaplamak, muhtemelen meta-analiz konularının geleneksel meta-regresyonun ötesinde ele alınmasını gerektirir. Bu sorunu müşterilerin meta analizlerine başvururken yaşadım, ancak henüz tatmin edici bir çözüm bulamadım veya geliştirmedim, bu nedenle bu cevap kesin değil. Aşağıda seçilen referans alıntılarıyla ilgili beş fikirden bahsediyorum.

İlk olarak, açıklama için terminoloji ve gösterimi tanıtacağım. Sana gelen etki boyutunda (ES) verileri eşleştirilmiş varsayıyorum böyle Çalışması bağımsız çalışmalarda, 'nin ES tahmin içme problemleri için (DP) ve , anksiyete için ve her tahminin koşullu / örnekleme varyansı (örneğin, kare standart hata) diyelim, ve . Study iki ES parametresini (yani, doğru veya sonsuz örnek ) vei y D i y A i i = 1 , 2 , … , k v D i v A i i θ D i θ A i μ D = E ( θ D i ) τ 2 D = V a r ( θ D i ) μ A = E ( θ A i ) $k$$i$$y_{Di}$$y_{Ai}$$i = 1, 2, \ldots, k$$v_{Di}$$v_{Ai}$$i$$\theta_{Di}$$\theta_{Ai}$. Bu ES parametrelerinin çalışmalar arasında rastgele farklılık gösterdiği geleneksel rasgele efektler görüşünü alarak, çalışmalar arası araçlarını ve varyanslarını ve DP için ve için ve olarak. DP ve anksiyetenin her biri için ayrı ayrı geleneksel bir meta-analizde (örneğin, ağırlık olarak kesinliklerle), her ES tahmininin örnekleme dağılımının bilinen varyansla normal olduğunu , ve ile$\mu_D = \mathrm{E}(\theta_{Di})$$\tau_D^2 = \mathrm{Var}(\theta_{Di})$$\mu_A = \mathrm{E}(\theta_{Ai})$yDi| θDı~N-(θDı,vDi)ybiri| θAi∼N(θAi,vAi)vDivA$\tau_A^2 = \mathrm{Var}(\theta_{Ai})$$y_{Di} | \theta_{Di} \sim \mathcal{N}(\theta_{Di}, v_{Di})$$y_{Ai} | \theta_{Ai} \sim \mathcal{N}(\theta_{Ai}, v_{Ai})$$v_{Di}$ve bilinen - en azından büyük çalışma içi örnekler için.$v_{Ai}$

Bu sorunun rasgele etkilerle ilgili bir görünümünü , ancak ilişkilerinin anlamlı olması için soruların çalışmaların arasında hem hem de değişkenliğine izin . Prosedürler ve yorumlar konusunda dikkatli olursak bunu heterojen bir sabit etkiler çerçevesinde de yapabiliriz (örn. Bonett, 2009). Ayrıca, ES'lerinizin korelasyonlar mı, (standartlaştırılmış) ortalama farklar mı, (log) olasılık oranları mı yoksa başka bir önlem mi olduğunu bilmiyorum, ancak ES metriği aşağıda söylediğim şeylerin çoğu için önemli değil. θ A $\theta_{Di}$$\theta_{Ai}$

Şimdi, beş fikre geçelim.

1. Ekolojik Yanlılık: İki ES'niz arasındaki ilişkiyi değerlendirmek , konu düzeyinde değil, çalışma düzeyinde bir soruyu ele alırsoru. Meta-analistlerin sizinki gibi iki ES arasında pozitif bir ilişkiyi uygunsuz bir şekilde yorumladıklarını gördüm: Müdahalenin kaygıyı azalttığı konular DP'de daha fazla azalma eğilimindedir. Çalışma düzeyi ES verilerinin analizi böyle ifadeleri desteklemez; bunun ekolojik önyargı veya ekolojik yanlışlıkla ilgili olması gerekir (örneğin, Berlin ve ark., 2002; McIntosh, 1996). Bu arada, çalışmalardan bireysel hasta / katılımcı verileri (IPD) veya bazı ek örnek tahminleriniz (örneğin, her grubun anksiyete ve DP arasındaki korelasyonu) varsa, müdahaleyi içeren ılımlılık veya arabuluculuk hakkında belirli konu düzeyinde soruları ele alabilirsiniz, anksiyete ve DP'nin, örneğin müdahalenin anksiyete-DP birlikteliği üzerindeki etkisi veya müdahalenin anksiyete yoluyla DP üzerindeki dolaylı etkisi (ör. müdahale)$\rightarrow$ anksiyete DP).$\rightarrow$

2. Meta-regresyon Problemleri: Eğer gerileme olabilir rağmen üzerinde davranır o geleneksel meta-regresyon prosedürü kullanarak sabit, bilinen öndeğişken / regresör / belirleyicisi, muhtemelen bu tamamen mülk değil. Bununla ilgili olası sorunları anlamak için, mümkünse bunun yerine ne yapabileceğimizi düşünün: olup olmadığını tahmin etmek veya test etmek için normal regresyon (ör. OLS) kullanarak üzerine ile ortalama kovariler . Biz olsaydı her çalışma en , daha sonra geri kalış geleneksel meta regresyon kullanılarak üzerinde y A i y A i θ D i θ A i θ D i θ A i θ $y_{Di}$$y_{Ai}$$y_{Ai}$$\theta_{Di}$$\theta_{Ai}$$\theta_{Di}$$\theta_{Ai}$ y D i θ A i θ D i = β 0 + β 1 θ A i + u i u i y D i y A i y A i θ A i v $\theta_{Ai}$$y_{Di}$$\theta_{Ai}$ bize istediğimizi verecekti, çünkü çalışmalar arasındaki (basit) model , burada rastgele bir hatadır. Gerileme aynı yaklaşım kullanılarak ilgili Ancak iki sorun göz ardı eder: farklıdır gelen nedeniyle örnekleme hatası (örneğin, ile ölçülmüştür ) ve bir karşı alana anksiyete ve DP arasındaki denek düzeyinde korelasyon nedeniyle ile çalışma içi korelasyon . Bu sorunlardan birinin veya her ikisinin ve arasındaki ilişki tahminini$\theta_{Di} = \beta_0 + \beta_1\theta_{Ai} + u_i$$u_i$$y_{Di}$$y_{Ai}$$y_{Ai}$$\theta_{Ai}$ y D i θ D i θ A $v_{Ai}$$y_{Di}$$\theta_{Di}$$\theta_{Ai}$regresyon seyreltme / zayıflama yanlılığı gibi.

3. Mevcut Durum Riski:Bazı yazarlar, bir müdahalenin ikili sonuç üzerindeki etkisinin meta-analizleri için # 2'dekilere benzer problemleri ele almıştır. Bu tür meta-analizlerde, genellikle tedavi etkisinin, tedavi edilmemiş bir popülasyonda sonucun olasılığı veya oranıyla (örneğin, daha yüksek risk altındaki süjeler için daha büyük etki) kovarya olduğu yönünde bir endişe vardır. Kontrol grubunun riskinden veya olay hızından tedavi etkisini tahmin etmek için geleneksel meta-regresyon kullanmak caziptir, çünkü ikincisi altta yatan / nüfus / taban çizgisi riskini temsil eder. Bununla birlikte, bazı yazarlar bu basit stratejinin veya önerilen alternatif tekniklerin sınırlılıklarını göstermişlerdir (örneğin, Dohoo ve ark., 2007; Ghidey ve ark., 2007; Schmid ve ark., 1998). Bu tekniklerden bazıları, iki çok uçlu ES içeren durumunuza uygun olabilir veya durumunuza uyarlanabilir.

4. İki Değişkenli Meta Analiz: Bunu iki değişkenli bir sorun olarak ele alabilirsiniz, burada Study çifti bir tahmin koşullu kovaryans matrisi ile ayrı sütunlar ve noktalı virgül satırları ayırır. Prensipte, ve çalışmalar arası kovaryans bileşen matrisi tahmin etmek için iki değişkenli rastgele efekt meta analizi kullanabiliriz . Bu, bazı çalışmalar yalnızca veya yalnızca katkıda bulunsa bile yapılabiliry i = [ y D i , y A i ] D , τ D A ; τ A D , τ 2 A ] y D i y A i τ D A = τ A D μ v A D$i$$y_i = [y_{Di}, y_{Ai}]$V i = [ v D i , v D A i ; v A D i , v A i ] μ = [ μ D , μ A ] T = [ τ $\theta_i = [\theta_{Di}, \theta_{Ai}]$$\mathbf{V}_i = [v_{Di}, v_{\mathrm{DA}i}; v_{\mathrm{AD}i}, v_{Ai}]$$\mu = [\mu_D, \mu_A]$$\mathbf{T} = [\tau_D^2, \tau_{DA}; \tau_{AD}, \tau_A^2]$$y_{Di}$$y_{Ai}$(örneğin, Jackson ve ark., 2010; White, 2011). yanı sıra , ve işlevleri olarak anksiyete ve DP arasındaki ilişkinin ve veya -on- regresyon eğimi. Bununla birlikte, anksiyete-DP ilişkisinin herhangi bir ölçüsü hakkında nasıl çıkarımlarda bulunacağımdan emin değilim: Hem hem de 'ye rastgele , yoksa en iyi şekilde tedavi edilir mi? (sabit olarak yaparız diye gerileme ise üzerinde$\tau_{DA} = \tau_{AD}$$\mu$θ D i θ A i θ D i θ A i θ D i θ A i θ A i θ D i θ A i v D A i$\mathbf{T}$$\theta_{Di}$$\theta_{Ai}$$\theta_{Di}$$\theta_{Ai}$$\theta_{Di}$$\theta_{Ai}$$\theta_{Ai}$$\theta_{Di}$$\theta_{Ai}$ ) ve testler, güven aralıkları veya diğer çıkarımsal sonuçlar için hangi prosedürler en iyisidir (örn. delta yöntemi, önyükleme, profil olasılığı)? Ne yazık ki, koşullu kovaryans hesaplanması zor olabilir, çünkü anksiyete ve DP arasındaki nadiren bildirilen grup içi ilişkiye bağlıdır; Burada bunu ele almak için stratejilere değinmeyeceğim (örneğin, Riley ve ark., 2010).$v_{\mathrm{DA}i} = v_{\mathrm{AD}i}$

5. Meta-Analiz için SEM: Mike Cheung'un meta-analitik modelleri yapısal denklem modelleri (SEM) olarak formüle etme konusundaki çalışmalarından bazıları bir çözüm sunabilir. SEM yazılımını kullanarak çok çeşitli tek ve çok değişkenli sabit, rasgele ve karışık efektli meta-analiz modellerini uygulamanın yollarını önerdi ve bunun için yazılım sağlıyor:

http://courses.nus.edu.sg/course/psycwlm/internet/metaSEM/index.html

Özellikle Cheung (2009), bir ES'nin bir çalışma düzeyi eşdeğeri ile başka bir ES arasında bir aracı olarak ele alındığı ve ES'yi bir diğeri ile tahmin etme durumunuzdan daha karmaşık bir örnek içeriyordu.

Referanslar

Berlin, JA, Santanna, J., Schmid, CH, Szczech, LA ve Feldman, HI (2002). Tedavi etkisi değiştiricilerinin araştırılması için bireysel hasta ve grup düzeyinde veri meta-regresyonları: Ekolojik önyargı çirkin başını taşır. Tıpta İstatistikler, 21, 371-387. DOI: 10.1002 / sim.1023

Bonett, DG (2009). Standartlaştırılmış ve standartlaştırılmamış ortalama farklar için meta-analitik aralık tahmini. Psikolojik Yöntemler, 14, 225-238. doi: 10,1037 / a0016619

Cheung, MW-L. (2009, Mayıs). Çok değişkenli etki büyüklüklerinin yapısal eşitlik modelleri ile modellenmesi. AR Hafdahl (Başkan) 'da, çok değişkenli doğrusal modeller için meta-analizde ilerlemeler. Psikolojik Bilimler Derneği toplantısında sunulan davetli sempozyum, San Francisco, CA.

Dohoo, I., Stryhn, H. ve Sanchez, J. (2007). Meta-analizlerde altta yatan riskin bir heterojenite kaynağı olarak değerlendirilmesi: Üç modelin Bayes ve sıkça uygulanması ile ilgili bir simülasyon çalışması. Koruyucu Veteriner Tıbbı, 81, 38-55. doi: 10.1016 / j.prevetmed.2007.04.010

Ghidey, W., Lesaffre, E. ve Stijnen, T. (2007). Meta analizde temel risk dağılımının yarı parametrik modellenmesi. Tıpta İstatistikler, 26, 5434-5444. DOI: 10.1002 / sim.3066

Jackson, D., White, IR ve Thompson, SG (2010). DerSimonian ve Laird'in metodolojisini çok değişkenli rasgele etkiler meta analizleri yapmak için genişletmek. Tıpta İstatistikler, 29, 1282-1297. DOI: 10.1002 / sim.3602

McIntosh, MW (1996). Meta-analizlerde ve hiyerarşik modellerde ekolojik bir parametre kontrolü (Doktora tezi). ProQuest Dissertations and Theses veritabanından edinilebilir. (UMI No. 9631547)

Riley, RD, Thompson, JR ve Abrams, KR (2008). Çalışma içi korelasyonlar bilinmediğinde iki değişkenli rasgele etkiler meta analizi için alternatif bir model. Biyoistatistik, 9, 172-186. DOI: 10,1093 / biyoistatistikleri / kxm023

Schmid, CH, Lau, J., McIntosh, MW ve Cappelleri, JC (1998). Klinik çalışmaların meta-analizinde tedavi etkinliğinin bir yordayıcısı olarak kontrol oranının etkisine ilişkin ampirik bir çalışma. Tıpta İstatistikler, 17, 1923-1942. doi: 10.1002 / (SICI) 1097-0258 (19980915) 17:17 <1923 :: YARDIM-SIM874> 3.0.CO; 2-6

White, IR (2011). Çok değişkenli rastgele etkiler meta-regresyon: mvmeta güncellemeleri. Stata Journal, 11,255-270.

Adam'ın cevapları üzerine inşa edilmiş birkaç ayrıntım var. Birincisi ve en önemlisi, bir etki büyüklüğünün başka bir etki büyüklüğünü nasıl ve neden öngördüğüne dair temel teorileri kavramsallaştırmak kolay değildir. Etki büyüklükleri arasındaki ilişkiyi açıklamak için çok değişkenli bir meta-analiz genellikle yeterlidir. Efekt boyutları arasında varsayımsal yönlerle ilgileniyorsanız, William Shadish'in çalışmasıyla ilgilenebilirsiniz (Shadish, 1992, 1996; Shadish ve Sweeney, 1991).

Adam'ın belirttiği gibi, etki boyutları arasında meta-regresyon uygulanmasında bazı sorunlar var. Ana sorun, etki boyutlarının bilinen varyanslarla (ve kovaryanslarla) koşullu olarak dağıtılmasıdır. Bu sorunu ele almak için yapısal bir denklem modelleme (SEM) yaklaşımı kullanılabilir (Cheung, 2008, 2013, baskıda). Adem'in gösteriminde "gerçek" efekt boyutlarını ve gizli değişkenler olarak formüle edebiliriz . Gözlemlenen etki boyutları "gerçek" etki boyutlarının göstergeleridir:$\theta_{Di}$$\theta_{Ai}$

$y_{Di} = \theta_{Di} + e_{Di}$ ile ve$\mathrm{Var}(e_{Di})=v_{Di}$

$y_{Ai} = \theta_{Ai} + e_{Ai}$ ile .$\mathrm{Var}(e_{Ai})=v_{Ai}$

Bu kısmı (ölçüm modeli olarak adlandırılan) formüle ettikten sonra, yapısal model "gerçek" etki boyutları arasına kolayca yerleştirilebilir:

$\theta_{Di} = \beta_0 + \beta_1 \theta_{Ai} + u_{Di}$ ,

burada , ve artık heterojenliğidir , değişkeninin varyansıdır .$\mathrm{Var}(u_{Di}) = \tau^2_{Di}$$\theta_{Di}$$\mathrm{Var}(\theta_{Ai})=\tau^2_{Ai}$$\theta_{Ai}$

Yana ve koşullu bir değeri ile ilişkilidir , son adım modelinde bu koşullu kovaryans dahil etmektir. Önerilen model:$y_{Di}$$y_{Ai}$$v_{DAi}$

Geleneksel SEM gösterimini kullanarak, daireler ve kareler gizli ve gözlenen değişkenleri temsil eder. Üçgen kesmeyi (veya ortalamayı) temsil eder.

Bir meta-analizde örnekleme varyansları ve kovaryansları bilindiğinden, çoğu SEM paketi bu modele uyacak şekilde kullanılamaz. Bu modele uyacak şekilde R'de uygulanan OpenMx paketini kullanıyorum. Mplus kullanmak istiyorsanız, bilinen örnekleme varyanslarını ve kovaryanslarını işlemek için bazı püf noktaları yapmanız gerekir (örnek için press_a'daki Cheung bölümüne bakınız).

Aşağıdaki örnek, modelin yordayıcı olarak "lifecon" ve R'deki bağımlı değişkenler olarak "lifesat" ile nasıl uyumlu hale getirileceğini göstermektedir. Veri kümesi http://courses.nus.edu.sg/course/psycwlm/Internet/metaSEM/ metaSEM paketinde bulunur

## Load the library with the data set  
library(metaSEM)
## OpenMx is loaded automatically after loading metaSEM
## library(OpenMx)

## Select the sample effect sizes and their sampling covariance matrix
my.df <- wvs94a[, 2:6]

## It uses the reticular action model (RAM) specification
## A matrix specifies the asymmetric paths (regression coefficients and factor loadings)
## S matrix specifies the symmetric covariances and variances
## F matrix specifies a selection matrix to select the observed variables   
lat <- mxModel("LifesatOnLifeCon",
               mxData(observed=my.df, type="raw"),
               mxMatrix(type="Full", nrow=4, ncol=4,
                        free=c(F, T, rep(F, 14)),
                        values=c(0, 0.1, 1, rep(0,4), 1, rep(0,8)),
                        labels=c(NA, "beta1", rep(NA, 14)),
                        name="A"),
               mxMatrix(type="Symm", nrow=4, ncol=4,
                        values=0, free=c(T,rep(F,3),T,rep(F,5)),
                        labels=c("Var(LifeCon)",rep(NA,3),"Var(LifeSatError)",rep(NA,2),
                                 "data.lifecon_var", "data.inter_cov", "data.lifesat_var"),                        
                        name="S"),            
               mxMatrix(type="Full", nrow=2, ncol=4,
                        values=c(rep(0,4),1,0,0,1), name="F"),
               mxMatrix(type="Full", nrow=1, ncol=4, free=c(T, T, F, F),
                        values=c(0, 0, 0, 0), labels=c("MeanLifeCon", "beta0", NA, NA), name="M"),
               mxExpectationRAM("A", "S", "F", "M", dimnames=c("latcon", "latsat", "lifecon","lifesat")),
                                mxFitFunctionML())

summary(mxRun(lat))

Çıktı: LifesatOnLifeCon Özeti

free parameters:
               name matrix row    col     Estimate   Std.Error
1             beta1      A   2      1  0.467619431 0.148202854
2      Var(LifeCon)      S   1      1  0.008413600 0.002537270
3 Var(LifeSatError)      S   2      2  0.002887461 0.001281026
4       MeanLifeCon      M   1 latcon  0.068825735 0.016819615
5             beta0      M   1 latsat -0.030834413 0.015565501

observed statistics:  84 
estimated parameters:  5 
degrees of freedom:  79 
-2 log likelihood:  -161.9216 
number of observations:  42 
Information Criteria: 
      |  df Penalty  |  Parameters Penalty  |  Sample-Size Adjusted
AIC:      -319.9216              -151.9216                       NA
BIC:      -457.1975              -143.2332                -158.8909
Some of your fit indices are missing.
  To get them, fit saturated and independence models, and include them with
  summary(yourModel, SaturatedLikelihood=..., IndependenceLikelihood=...). 
timestamp: 2015-01-20 18:56:09 
Wall clock time (HH:MM:SS.hh): 00:00:00.13 
optimizer:  NPSOL 
OpenMx version number: 2.0.0.4004 
Need help?  See help(mxSummary) 

Son bir not olarak, yukarıdaki model yolunu "gerçek" efekt boyutları arasındaki kovaryansı temsil eden çift ok değiştirerek iki değişkenli meta-analize eşdeğerdir . İki değişkenli meta-analiz şu şekilde yapılabilir:τ 2 D $\beta_1$$\tau^2_{DA}$

library(metaSEM)
summary( meta(y=cbind(lifesat, lifecon),
              v=cbind(lifesat_var, inter_cov, lifecon_var), 
              data=wvs94a) )

Çıktı:

Call:
meta(y = cbind(lifesat, lifecon), v = cbind(lifesat_var, inter_cov, 
    lifecon_var), data = wvs94a)

95% confidence intervals: z statistic approximation
Coefficients:
              Estimate   Std.Error      lbound      ubound z value  Pr(>|z|)
Intercept1  0.00134985  0.01385628 -0.02580797  0.02850766  0.0974 0.9223946
Intercept2  0.06882574  0.01681962  0.03585990  0.10179159  4.0920 4.277e-05
Tau2_1_1    0.00472726  0.00176156  0.00127465  0.00817986  2.6836 0.0072844
Tau2_2_1    0.00393437  0.00168706  0.00062779  0.00724094  2.3321 0.0196962
Tau2_2_2    0.00841361  0.00253727  0.00344064  0.01338657  3.3160 0.0009131

Intercept1    
Intercept2 ***
Tau2_1_1   ** 
Tau2_2_1   *  
Tau2_2_2   ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Q statistic on the homogeneity of effect sizes: 250.0303
Degrees of freedom of the Q statistic: 82
P value of the Q statistic: 0

Heterogeneity indices (based on the estimated Tau2):
                             Estimate
Intercept1: I2 (Q statistic)   0.6129
Intercept2: I2 (Q statistic)   0.7345

Number of studies (or clusters): 42
Number of observed statistics: 84
Number of estimated parameters: 5
Degrees of freedom: 79
-2 log likelihood: -161.9216 
OpenMx status1: 0 ("0" or "1": The optimization is considered fine.
Other values indicate problems.)

Bu iki modelin -2 log olasılığını karşılaştırdığımızda, bunlar tamamen aynıdır (-161.9216). Bu durumda, efekt boyutlarına bir meta-regresyon takarak ek içgörü kazanmayız - iki değişkenli bir meta-analiz zaten yeterlidir.

Referanslar

Cheung, MW-L. (2008). Sabit, rastgele ve karışık etkili meta-analizleri yapısal eşitlik modellemesine entegre etmek için bir model . Psikolojik Yöntemler , 13 (3), 182-202. doi: 10,1037 / a0013163

Cheung, MW-L. (2013). Yapısal eşitlik modelleri olarak çok değişkenli meta-analiz . Yapısal Eşitlik Modeli: Çok Disiplinli Bir Dergi , 20 (3), 429-454. DOI: 10,1080 / 10705511.2013.797827

Cheung, MW-L. (2014). Bağımlı etki büyüklüklerini üç düzeyli meta-analizlerle modelleme: Yapısal bir denklem modelleme yaklaşımı . Psikolojik Yöntemler , 19 (2), 211-29. doi: 10.1037 / a0032968.

Shadish, WR (1992). Aile ve evlilik psikoterapileri insanların yaptıklarını değiştirir mi? Davranışsal sonuçların meta-analizi. TD Cook, H. Cooper, DS Cordray, H. Hartmann, LV Hedges, RJ Light, TA Louis ve F. Mosteller (Eds), Açıklama için meta-analiz: Bir casebook (129-208). New York: Russell Sage Vakfı.

Shadish, WR (1996). Meta-analiz ve nedensel aracılık süreçlerinin keşfi: Örnekler, yöntemler ve konuların bir öncüsü. Psikolojik Yöntemler , 1 , 47-65.

Shadish, WR ve Sweeney, R. (1991). Meta-analizde arabulucular ve moderatörler: Dodo kuşlarının bize hangi psikoterapilerin ödülleri olması gerektiğini söylemelerine izin vermememizin bir nedeni var. Danışmanlık ve Klinik Psikoloji Dergisi , 59 , 883-893.