Boş bir hipotezi reddetmekte başarısız olmak, boş hipotezin doğru olduğunun kanıtıdır, ancak özellikle iyi bir kanıt olmayabilir ve kesinlikle boş hipotezi kanıtlamaz .
Kısa bir yoldan gidelim. Bir an için eski klişe düşünün:
Kanıt bulunmaması, eksikliğin kanıtı değildir.
Popülerliğine rağmen, bu ifade saçma. Bir şey ararsanız ve onu bulamazsanız, bu kesinlikle orada olmadığının bir kanıtıdır. Bu kanıtın ne kadar iyi olduğu, aramanızın ne kadar kapsamlı olduğuna bağlıdır. Bir araştırma araştırması, zayıf kanıtlar sunar; ayrıntılı bir araştırma güçlü kanıtlar sunar.
Şimdi, hipotez testine geri dönelim. Bir hipotez testi yaptığınızda, boş hipotezin doğru olmadığına dair kanıtlar ararsınız. Bunu bulamazsanız, o zaman kesinlikle sıfır hipotezi de kanıtlanmıştır olan gerçek, ama bu deliller ne kadar güçlü? Bunu bilmek için, boş hipotezi reddetmenize neden olacak kanıtların aramanızı engellemesinin ne kadar muhtemel olduğunu bilmek zorundasınız. Yani, testinizde yanlış bir negatif ihtimal var mı? Bu, testin gücü, (özellikle, tamamlayıcı, 1- .ββ
Şimdi, testin gücü ve bu nedenle yanlış negatif oran, genellikle aradığınız etkinin boyutuna bağlıdır. Büyük efektlerin tespit edilmesi küçük olanlardan daha kolaydır. Bu nedenle, bir deney için tek bir yok ve bu nedenle boş hipotez için kanıtların ne kadar güçlü olduğu sorusuna kesin bir cevap yok. Başka bir deyişle, her zaman olduğu bazı o deney tarafından ekarte değil o kadar küçük etki boyutu.β
Buradan devam etmek için iki yol var. Bazen bazı eşik değerlerden daha küçük bir efekt boyutuyla ilgilenmediğinizi biliyorsunuzdur. Bu durumda, denemenizi muhtemelen boş hipotezin etkinin eşik değerin üstünde olduğu şekilde yeniden denemelisiniz ve sonra etkinin eşiğin altında olduğu alternatif hipotezini test edin. Alternatif olarak, sonuçlarınızı etkinin inanılır boyutuna sınırlar koymak için kullanabilirsiniz. Sonucunuz, etkinin büyüklüğünün, bazı olasılıklarla birlikte belirli aralıklarla yattığı olacaktır. Bu yaklaşım, kendinizi böyle bir durumda sık sık bulursanız, hakkında daha fazla bilgi edinmek isteyebileceğiniz bir Bayesian tedavisinden sadece küçük bir adımdır.
İlgili bulabileceğiniz bir soruya, yararlı bulabileceğiniz devamsızlık testinin kanıtlarına değinen güzel bir cevap var .