Size çelişkili sonuçlar verdiğinde hangisinin daha iyi bir çalışma olduğunu nasıl tespit edebilirim?

Basında sık sık yönelimli sonuçlar veren çeşitli çalışmalarla karşılaşıyorsunuz. Bunlar yeni bir reçeteli ilacın test edilmesi veya belirli bir besinin veya bu konudaki başka bir şeyin değerinin değeri ile ilgili olabilir.

Bu tür iki çalışma çelişkili sonuçlara ulaştığında, ikisinden hangisinin gerçeğe en yakın olduğunu nasıl anlarsınız?

Eğer iki deneysel çalışmayı veya gerçek bir meta-analizi inceliyorsanız, Jeromy'nin cevabının yeterli olduğunu düşünüyorum . Ancak çoğu zaman, deneysel olmayan iki çalışmayı incelemekle karşı karşıyayız ve bu iki farklı bulgunun geçerliliğini değerlendirmekle görevlendirildik.

Gibi soruların Cyrus'un alışveriş listesi anlaşılacağı, konu kendisi kısa yanıta müsait değildir ve bütün kitaplar adresi böyle bir soruya yönelik özünde vardır. Deneysel olmayan veriler üzerinde araştırma yapmak isteyen herkes için okumanızı şiddetle tavsiye ederim.

William R. Shadish, Thomas D. Cook, Donald Thomas Campbell tarafından genel nedensel çıkarım için deneysel ve yarı deneysel tasarımlar (Ayrıca bu metnin eski sürümlerinin de aynı derecede iyi olduğunu duydum).

Jeromy'nin bahsettiği birkaç madde (daha büyük örnek boyutları ve daha büyük metodolojik titizlik) ve Cyrus'un bahsettiği her şey Campbell ve Cook'un "İç Geçerlik" olarak adlandırdığı şey olarak kabul edilecektir. Bunlar, araştırma tasarımının yönlerini ve X ve Y arasındaki ilişkiyi değerlendirmek için kullanılan istatistiksel yöntemleri içerir. Özellikle eleştirmenler olarak, sonuçlara ağırlık verebilecek ve bulguların güvenilirliğini azaltabilecek yönlerden endişe duyuyoruz. Bu, istatistiksel analize ayrılmış bir forum olduğundan, yanıtların çoğu, değerlendirdiğiniz herhangi bir ilişkinin tarafsız tahminlerini sağlamak için istatistiksel yöntemler etrafında toplanır. Ancak, araştırma analizinin, istatistiksel analizlerinde hangi titiz uzunluklarda olursa olsun, bulguların geçerliliğini azaltan istatistiksel analizle ilgisi olmayan diğer yönleridir (Cyrus'un deneysel sadakatin çeşitli yönlerinden bahsedilmesi ele alınabilir ancak çözülemez) istatistiksel yöntemler ve eğer ortaya çıkarlarsa, çalışma sonuçlarının geçerliliğini daima azaltacaktır). Burada belirtilmeyen deneysel olmayan çalışmaların sonuçlarının karşılaştırılmasında iç geçerliliğin değerlendirilmesi için çok önemli olan başka yönler ve bulguların güvenilirliğini ayırt edebilen araştırma tasarımlarının yönleri vardır. Burada çok fazla ayrıntıya girmenin uygun olduğunu düşünmüyorum,

Campbell ve Cook ayrıca çalışmaların "dış geçerliliği" ni ifade eder. Araştırma tasarımının bu yönü genellikle kapsam olarak çok daha küçüktür ve iç geçerlilik kadar ilgi görmez. Dış geçerlik esas olarak bulguların genelleştirilebilirliği ile ilgilidir ve laymenlerin konuyu bildiği sürece dış geçerliliği makul bir şekilde değerlendirebileceğini söyleyebilirim. Uzun öykü kısa Shadish'in, Cook'un ve Campbell'in kitabını okudu.

Meta analiz literatür sorunuzun alakalıdır. Meta-analitik teknikleri kullanarak, çalışmalar arasında toplanan ilginin etkisi hakkında bir tahmin oluşturabilirsiniz. Bu teknikler genellikle çalışmaların örnek büyüklükleri açısından ağırlıklandırır.

Meta analiz bağlamında araştırmacılar sabit etki ve rastgele etki modelleri hakkında konuşurlar (bakınız Hunter ve Schmidt, 2002 ). Sabit bir etki modeli, tüm çalışmaların aynı popülasyon etkisini tahmin ettiğini varsaymaktadır. Rastgele etkiler modeli, çalışmaların tahmin edilen nüfus etkisinde farklı olduğunu varsayar. Rastgele etkiler modeli tipik olarak daha uygundur.

Belirli bir ilişkiye bakarak daha fazla çalışma biriktikçe, daha karmaşık yaklaşımlar mümkün hale gelir. Örneğin, çalışmaları algılanan kalite gibi çeşitli özellikler açısından kodlayabilir ve ardından etki büyüklüğünün bu çalışma özelliklerine göre değişip değişmediğini ampirik olarak inceleyebilirsiniz. Kalitenin ötesinde, ilişkiyi ılımlı kılacak çalışmalar arasında teorik olarak ilgili bazı farklılıklar olabilir (örneğin, numunenin özelliği, dozaj seviyeleri, vb.).

Genel olarak, aşağıdakilerle çalışmalara güvenme eğilimindeyim:

• daha büyük örnek boyutları
• daha büyük metodolojik titizlik
• doğrulayıcı bir yönelim (örneğin, 100 farklı besin ve 50 sağlık sonucu arasındaki korelasyonları test ettikleri bir çalışma değil)
• çıkar çatışmasının olmaması (örneğin, bir ilişki gösterme konusunda ticari çıkarları olan bir şirket tarafından değil; önemli bir sonuç bulma teşviki olan bir araştırmacı tarafından değil)

Ancak bu, çelişkili çalışma bulgularının makul bir açıklaması olarak çalışmalar arasında rastgele örnekleme ve teorik olarak anlamlı farklılıklar tutmanız gerektiğini söyledi.

Hedef popülasyonlarda potansiyel yanlılık veya varyasyon varsa kaynakları inceleyene kadar meta analizi düşünmeye devam edeceğim. Bunlar tedavi etkileri çalışmaları ise, tedavi rastgele mi atandı? Protokolden sapmalar oldu mu? Uyumsuzluk var mıydı? Sonuç verileri eksik mi? Örnekler aynı çerçeveden mi alındı? Katılmayı reddetti mi? Uygulama hataları? Standart hatalar doğru hesaplandı mı, kümelenmeyi muhasebeleştirdi ve çeşitli parametrik varsayımlara karşı sağlam mı? Sadece bu soruları cevapladıktan sonra, meta-analiz konularının resme girmeye başladığını düşünüyorum. Sone kahramanca varsayımlar yapmak istemiyorsanız, herhangi iki çalışma için meta-analizin uygun olması nadir olmalıdır.