Kümülatif bir çaba olarak bilim için sıfır hipotez testinin (NHT) kullanımını eleştiren büyüyen istatistikçi ve araştırmacılara yanıt olarak, Amerikan Psikoloji Derneği İstatistiksel Çıkarım Görev Gücü, NHT'yi açıkça yasaklamayı önledi, ancak bunun yerine araştırmacıların NHT'den türetilen p değerlerine ek olarak etki büyüklüklerini bildirir.
Bununla birlikte, etki boyutları çalışmalarda kolayca birikmez. Meta-analitik yaklaşımlar etki büyüklüklerinin dağılımlarını biriktirebilir, ancak etki büyüklükleri tipik olarak belirli bir deneyin verilerinde ham etki büyüklüğü ve açıklanamayan "gürültü" arasında bir oran olarak hesaplanır, yani etki büyüklüklerinin dağılımı yalnızca çalışmalar arasındaki etkinin ham büyüklüğündeki değişkenlik, aynı zamanda çalışmalar arasındaki gürültünün tezahüründeki değişkenlik.
Bunun aksine, etki gücü, olasılık oranları oranının alternatif bir ölçüsü, her bir çalışmaya göre temelde sezgisel yorumlamaya izin verir ve meta-analiz çalışmaları arasında kolayca toplanabilir. Her çalışma içinde, olasılık, etki içermeyen bir modele göre belirli bir etki içeren bir model için kanıt ağırlığını temsil eder ve tipik olarak, örneğin, "X'in etkisi için bir olasılık oranının hesaplanması" olarak rapor edilebilir. etki için ilgili boş değerden 8 kat daha fazla kanıt ortaya koydu ". Ayrıca, olasılık oranı, 1'in altındaki olasılık oranları, sıfırın tercih edildiği senaryoları temsil ettiği ve bu değerin karşılıklı olarak alınmasının, etkinin üzerindeki sıfırın kanıtı ağırlığını temsil ettiği sürece, sıfır bulgularının gücünün sezgisel olarak temsil edilmesine izin verir. Özellikle, olabilirlik oranı, matematiksel olarak iki modelin açıklanamayan varyanslarının oranı olarak temsil edilir, bu sadece etki ile açıklanan varyansta farklılık gösterir ve bu nedenle bir etki boyutundan büyük bir kavramsal ayrılma değildir. Öte yandan, çalışmalar arasında bir etki için kanıt ağırlığını temsil eden bir meta-analitik olabilirlik oranının hesaplanması, basitçe, çalışmalar arasında olabilirlik oranlarının çarpımını ele alma konusudur.
Bu nedenle, bir etki / model lehine brüt kanıt derecesini belirlemeye çalışan bilim için, olasılık oranlarının yol olduğunu iddia ediyorum.
Modellerin yalnızca bir efektin belirli boyutunda farklılaşabileceği daha nüanslı vakalar vardır, bu durumda verilerin efekt parametre değerleriyle tutarlı olduğuna inandığımız aralığın bir çeşit gösterimi tercih edilebilir. Aslında, APA görev gücü de bu amaçla kullanılabilecek güven aralıklarının bildirilmesini önerir, ancak bunun aynı zamanda kötü düşünülmüş bir yaklaşım olduğundan şüpheleniyorum.
Güven aralıkları genellikle yanlış yorumlanmaktadır ( öğrenciler ve araştırmacılar tarafından benzer şekilde ). Ayrıca NHT'de kullanım becerilerinin (CI içine sıfır eklenmesi değerlendirilerek) sadece NHT'nin neslinin tükenmesini çıkarımsal bir uygulama olarak daha da geciktirmeye yarayacağından korkuyorum.
Bunun yerine, teoriler sadece etkilerin büyüklüğüne göre farklılaştığında, Bayes yaklaşımının daha uygun olacağını, her bir etkinin önceki dağılımının her model tarafından ayrı ayrı tanımlandığı ve ortaya çıkan arka dağılımların karşılaştırıldığını öneririm.
P-değerlerini, etki büyüklüklerini ve güven aralıklarını olasılık oranlarıyla ve gerekirse Bayesci model karşılaştırmasını değiştiren bu yaklaşım yeterli görünüyor mu? Burada kötü huylu alternatiflerin sağladığı bazı çıkarımsal özellikleri kaçırıyor mu?