Meta-analizin artıları ve eksileri

Evrimdeki belirli bir çalışma alanı için bir miktar meta-analiz yapmayı düşünüyorum, ancak daha ileri gitmeden önce bilmek istiyorum; Sürecin olumlu ve olumsuz yanları nelerdir? Örneğin, pratik bir deneye ihtiyaç duyulmaması bir avantajdır (zaman ve para), ancak dezavantaj olabilecek bir yayın yanlılığı (daha heyecan verici sonuçlar yayınlanır) olacaktır.

İstatistik dergilerindeki hangi makaleler meta-analizin artılarını ve eksilerini tartışıyor?

Borenstein, Hedges, Higgins ve Rothstein'ın Meta-Analize Giriş meta-analizin artıları ve eksileri hakkında ayrıntılı bir tartışma sağlar. Örneğin, yazarların çeşitli meta-analiz eleştirilerine yanıt verdikleri " Meta-analizin eleştirisi " bölümüne bakınız . Bu bölümün bölüm başlıklarını not ediyorum ve daha sonra bellekten o noktaya ilişkin birkaç gözlem yapıyorum:

• "bir sayı bir araştırma alanını özetleyemez": İyi bir meta analiz, gerçek etki boyutlarındaki değişkenliği ve tahminlerin belirsizliğini modelleyecektir.
• "dosya çekmecesi sorunu meta analizi geçersiz kılıyor": Dönüşüm hunisi grafikleri ve ilgili araçlar, yayın yanlılığını kontrol etmek için örnek boyutunun efekt boyutuyla ilgili olup olmadığını görmenizi sağlar. İyi meta-analizler yayınlanmamış çalışmalar elde etmek için çaba gösterir. Bu konu anlatı çalışmalarıyla paylaşılmaktadır.
• "Elma ve portakalın karıştırılması": İyi meta-analizler, dahil edilen çalışmaların kategorize edilmesi ve meta-analize çalışmaların dahil edilmesini ve hariç tutulmasını haklı çıkarmak için titiz bir kodlama sistemi sağlar. Çalışmalar sınıflandırıldıktan sonra, etki boyutlarının çalışma türüne göre değişip değişmediğini görmek için moderatör analizi yapılabilir.
• "Önemli çalışmalar göz ardı edilir": Çalışmaların değerlendirilen kalitesini kodlayabilirsiniz. Büyük numunelere daha fazla ağırlık verilebilir.
• "meta analiz randomize denemelere katılmayabilir":
• "meta-analizler kötü yapılır": Bu sadece meta-analitik yöntemlerin standartlarını geliştirmek için bir argüman.
• "Bir anlatı incelemesi daha mı iyi?": Meta-analiz eleştirilerinin çoğu (ör. Yayın yanlılığı) anlatı incelemeleri tarafından paylaşılmaktadır. Sadece anlatım incelemelerinde çıkarsama yöntemleri daha az açık ve daha az titizdir.

Onları yapma deneyimime göre, daha önce yapılmadıysa, bir alanda kendi bükülmenizi sağlamadığınız gibi, doğru dergilerin onlara karşı önyargısı yoktur. Bir meta-analiz Science'a girmez, ancak alanınızda iyi dergiler genellikle yeni meta-analizlerle iyidir.

Deneme yapmadan tasarruf edilen zaman ve maliyet genellikle başka şeyler yaparak yenir. Büyük yanlarından biri, birçok makalenin analiz için yeterli bilgi raporlamamasıdır. Bunu düzeltmek için sık sık yazarlarla iletişime geçmeniz gerekir ve maalesef hepsi isteklere uymaz veya uymaz. Sürecin en büyük zaman alıcısı.

Ayrıca yüksek alıntı oranları gibi bazı profesyonelleri de kaçırdınız. Eğer ilk ve tek meta-analiz iseniz, yeni araştırmacılar genellikle makalenizi gösterecektir. Başka bir profesyonel, nispeten kolay takip çalışmalarıdır. Bir veya iki yıl içinde, dinamik bir çalışma alanında, meta-analizleri takip etmek için sonraki iki yılı araştırmanız yeterlidir. İlk hamleyseniz, bir çalışma alanındaki meta analizleri seçmek nispeten kolaydır. Daha sonra nispeten yüksek alıntı oranlarına yol açar.

Literatürden aldığınız sonuçların yayın yanlılığı olduğundan endişe ediyorsanız, huni grafikleri (y ekseni üzerindeki çalışma boyutu (genellikle -se) ve x üzerindeki etkisi) gibi istatistiksel teknikler kullanılabilir. tespit etmek. Bir konudaki tarafsız bir literatür, bir huni grafiğinde simetrik sonuçlara sahip olma eğiliminde olacaktır, ancak yayın yanlılığına bağlı bir etki, dağıtımın sadece yarısı gibi görünecektir. Ve deneylerden farklı olarak, bir meta-analize giren verilerin önyargılı olduğunu bulmak yayınlanabilir.

Michael Borenstein ve meslektaşlarına özür dilerken "Meta-analizin eleştirisi" konusunda bir eleştiri yapacağımı düşündüm.

• "bir sayı bir araştırma alanını özetleyemez": İyi bir meta analiz, gerçek etki boyutlarındaki değişkenliği ve tahminlerin belirsizliğini modelleyecektir.

! Belirsizlik, başka bir olasılıkla yanıltıcı başka bir özettir ve her ikisi de kesinlikle kuşkusuz açıkça ele alınmayan önyargılar ele alınmazsa çok yanıltıcı olacaktır.

• "dosya çekmecesi sorunu meta analizi geçersiz kılıyor": Dönüşüm hunisi grafikleri ve ilgili araçlar, yayın yanlılığını kontrol etmek için örnek boyutunun efekt boyutuyla ilgili olup olmadığını görmenizi sağlar. İyi meta-analizler yayınlanmamış çalışmalar elde etmek için çaba gösterir. Bu konu anlatı çalışmalarıyla paylaşılmaktadır.

! Box'ın bir zamanlar söylediği gibi - denizlerin Kraliçe Mary'nin seyahat etmesi için yeterince sakin olup olmadığını görmek için bir satır teknesi göndermek gibi. Çok düşük güç ve neredeyse kesin olarak yanlış belirlenmiş sansür işlemi.

• "Elma ve portakalın karıştırılması": İyi meta-analizler, dahil edilen çalışmaların kategorize edilmesi ve meta-analize çalışmaların dahil edilmesini ve hariç tutulmasını haklı çıkarmak için titiz bir kodlama sistemi sağlar. Çalışmalar sınıflandırıldıktan sonra, etki boyutlarının çalışma türüne göre değişip değişmediğini görmek için moderatör analizi yapılabilir.

! Yine umutsuz güç ve genellikle anlaşma yanlılığı.

• "Önemli çalışmalar göz ardı edilir": Çalışmaların değerlendirilen kalitesini kodlayabilirsiniz. Büyük numunelere daha fazla ağırlık verilebilir.

! Şimdi umutsuz güç, model yanlış şartname ve önyargı her zaman düzgün See muhasebeleştirilmemesine meta-analizde kalite puanı ile üretilen önyargı üzerinde

• "meta analiz randomize denemelere katılmayabilir":

! Tamamen katılıyorum ve gerçek belirsizlikleri hakkında tek kaynak.

• "meta-analizler kötü yapılır": Bu sadece meta-analitik yöntemlerin standartlarını geliştirmek için bir argüman.

! Tamamen katılıyorum.

• "Bir anlatı incelemesi daha mı iyi?": Meta-analiz eleştirilerinin çoğu (ör. Yayın yanlılığı) anlatı incelemeleri tarafından paylaşılmaktadır. Sadece anlatım incelemelerinde çıkarsama yöntemleri daha az açık ve daha az titizdir.

! Tamamen katılıyorum.

Emin değilim neden meta-analiz literatür maintians böyle gül renkli camların çok - meta-analizler var yapılması gereken Meta-analiz tıbbi araştırmalarda: Bireysel araştırma çabalarının daha yüksek kalite için güçlü bir teşvik , ancak gerektiği eleştirel bütün tam bilinci ile yapılabilir worts.

Ve neredeyse her zaman unuttuğum gibi, meta-analiz ile tam olarak ne demek istediğimi açıklığa kavuşturmalıyım, çünkü başkalarının onu almak için aldıkları şey zaman ve yer ve belki de bugün en yaygın anlamı değişti - sadece elde edilen çıkarılan sayılar üzerinde kullanılan nicel yöntemler sistematik bir derlemede - demek istediğim bu değil. Gerçekten herhangi bir nicel yöntem kullanmama kararı alınmış olsa bile tüm sistematik inceleme sürecini kastediyorum. Veya wiki'de alıntılandığı gibi sadece bir cümleyle

İstatistiklerde, bir meta-analiz, çalışma sonuçları arasındaki örüntüleri, bu sonuçlar arasındaki anlaşmazlık kaynaklarını veya çoklu çalışmalar.