Büyük çalışmalarda neden küçük etkiler bulmak yayının önyargısını gösteriyor?

Bazı metodolojik makaleler (örn. Egger ve diğ. 1997a, 1997b), aşağıdaki gibi huni grafiklerini kullanarak meta-analizlerin gösterdiği şekilde yayın yanlılığını tartışmaktadır.

1997b makalesi, "yayın yanlılığı varsa, yayınlanan çalışmaların en büyüğünün en küçük etkiyi rapor etmesi bekleniyor" diyerek devam ediyor. Ama neden bu? Bana öyle geliyor ki tüm bunların kanıtlayacağı şey zaten biliyoruz: küçük etkiler sadece büyük örneklem büyüklükleriyle tespit edilebilir ; yayınlanmamış kalan çalışmalar hakkında hiçbir şey söylemezken.

Ayrıca, alıntı yapılan çalışma, bir huni çiziminde görsel olarak değerlendirilen asimetrinin "daha az büyük yararı olan daha küçük denemelerin seçici bir şekilde yayınlanmadığını gösterdiğini" iddia ediyor. Ama, yine, ben anlamıyorum herhangi çalışmaların özellikleri edildi yayınlanan muhtemelen bize bir şey söyleyecektin eserler hakkında (bizi çıkarımlar yapmak için izin verecek) şekilde değil yayınlandı!

Kaynaklar
Egger, M., Smith, GD ve Phillips, AN (1997). Meta-analiz: ilkeler ve prosedürler . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., ve Minder, C. (1997). Meta-analizde yanlılık, basit bir grafiksel test ile tespit edildi . BMJ , 315 (7109), 629-634 sayılı belge.

Buradaki cevaplar iyi, herkese +1. Ben sadece bu etkinin, aşırı bir durumda huni arsa terimlerinde nasıl görünebileceğini göstermek istedim. Aşağıda, gibi küçük bir etki simüle ediyorum ve 2 ila 2000 gözlem arasında boyutta örnekler çiziyorum.$N(.01, .1)$

Arsadaki gri noktalar katı bir rejimi altında yayınlanmayacaktı . Gri çizgi, "kötü p-değeri" çalışmaları da dahil olmak üzere örneklem büyüklüğü üzerindeki etki büyüklüğünün gerilemesidir, kırmızı olan ise bunları dışlamaktadır. Siyah çizgi gerçek etkiyi gösterir.$p < .05$

Gördüğünüz gibi, yayın önyargısı altında, küçük çalışmaların etki büyüklüklerini abartması ve büyüklerin etki büyüklüklerini gerçeğe daha yakın rapor etmeleri yönünde güçlü bir eğilim var.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{2019-02-20 tarihinde reprex paketi ile oluşturuldu (v0.2.1)}

Öncelikle, "yayın önyargısının" ne olduğunu ve onu literatüre nasıl sokacağını düşünmemiz gerekir.

Yayın yanlılığı için oldukça basit bir model, bazı verileri toplamamız ve ise yayınlamamızdır. Aksi takdirde yapmayız. Peki bu literatürde gördüğümüzü nasıl etkiliyor? Birincisi, (bir Wald istatistiği kullanıldığını varsayarsak garanti eder . Şimdi, bir nokta, gerçekten küçükse, göreceli olarak büyük ve büyükolduğu Gerekli yayın için.$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ aslında, aslında onu yayınlayan küçük deneylerde gördüğümüzden önemli ölçüde daha küçüktür.

$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

Bu ifadeyi farklı bir şekilde okuyun:

Yayın önyargısı yoksa, etki büyüklüğü çalışma büyüklüğünden bağımsız olmalıdır.

Yani, eğer bir fenomeni inceliyorsanız, etki büyüklüğü örneklem / çalışmanın değil fenomenin bir özelliğidir.

Etki büyüklüğü tahminleri çalışmalar arasında farklılık gösterebilir (ve olacaktır), ancak artan çalışma büyüklüğüne sahip sistematik olarak azalan bir etki büyüklüğü varsa, bu önyargı olduğunu gösterir. Bütün mesele, bu ilişkinin düşük etki büyüklüğünü gösteren ve yayınlanmayan düşük etki büyüklüğünü gösteren ek çalışmalar olduğunu öne sürdüğünü ve eğer yayınlandıysa ve bu nedenle meta analizine dahil edilebildiyse, genel izlenim etki büyüklüğünün daha küçük olacağı yönündedir. yayınlanan çalışmalar alt kümesinden tahmin edilenden daha fazla.

Çalışmalar arasındaki etki büyüklüğü tahminlerinin varyansı örneklem büyüklüğüne bağlı olacaktır, ancak önyargı yoksa düşük örneklem büyüklüğünde eşit miktarda düşük ve yüksek tahminler görmelisiniz.