Sonuçları “son derece anlamlı” olarak belirtmek yanlış mıdır?

İstatistikçiler , değeri olan geleneksel seviyesinin oldukça altında olduğunda neden sonuçlara " yüksek derecede anlamlı" demekten vazgeçiyorlar ?α $p$$\alpha$$0.05$

% 99,9'luk Tip I hatası ( ) olma şansına sahip olan bir sonuca, yalnızca bu şansı% 99 ( ) veren bir sonuçtan daha fazla güvenmek gerçekten yanlış mıdır ?p = $p=0.001$$p=0.01$

Sonuçların "son derece önemli" olduğunu söylerken çok yanlış olmadığını düşünüyorum (evet olmasına rağmen, biraz özensiz).

Bu, çok daha küçük bir önem seviyesi , sonuçları yine de anlamlı olarak değerlendirmiş olacağınız anlamına gelir . Evet bazı okuyucular çok daha küçük varsa veya buna eşdeğer a akılda sonra onlar yine de önemli bir şekilde sonuçlarınızı yargılayabilir.$\alpha$$\alpha$

Anlamlılık seviyesi , seyircinin gözündedir, oysa p- değeri (bazı uyarılarla) verilerin bir özelliğidir.$\alpha$$p$

Gözlem sadece gözlemleyerek aynı değildir p = 0.04 , hem alan (standart kuralları tarafından "önemli" olarak adlandırılabilir bile, α = 0.05 ). Minik p değeri, null'a karşı daha güçlü kanıt anlamına gelir (Fisher'ın hipotez testi çerçevesini sevenler için); etki büyüklüğü etrafındaki güven aralığının, null değeri daha büyük bir marjla hariç tutacağı anlamına gelir (CI'leri p değerlerine tercih edenler için ); sıfırın posterior olasılığının daha küçük olacağı anlamına gelir (önceden bir kısmı olan Bayesliler için); bunların hepsi eşdeğerdir ve bulguların daha ikna edici olduğu anlamına gelir$p=10^{-10}$$p=0.04$$\alpha=0.05$$p$$p$. Daha küçük p değerleri daha ikna edici mi? daha fazla tartışma için.

"Oldukça anlamlı" terimi kesin değildir ve olması gerekmez. Şaşırtıcı derecede büyük bir etki büyüklüğünü gözlemlemeye ve buna "büyük" (veya belki de sadece "çok büyük" olarak adlandırmaya benzer, öznel bir uzman yargısıdır. Bilimsel yazıda bile verilerinizin nitel, öznel açıklamalarını kullanmanın yanlış bir yanı yoktur; tabii ki, nesnel niceliksel analiz de sunulmalıdır.

Ayrıca yukarıdaki bazı mükemmel yorumlara bakın: +1 to @whuber, @Glen_b ve @COOLSerdash.

Bu yaygın bir soru.

Benzer bir soru "p <= 0.05 neden önemli kabul edilir?" ( http://www.jerrydallal.com/LHSP/p05.htm )

@ Michael-Mayer cevabın bir kısmını verdi: anlamlılık cevabın sadece bir kısmı. Yeterli veriyle, genellikle bazı parametreler "anlamlı" olarak görünür (Bonferroni düzeltmesine bakın). Birden fazla test, anlamlılık arayan büyük çalışmaların yaygın olduğu ve p-değerlerinin < ^10-8 olduğu genellikle genetikte özel bir sorundur ( http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2621212/ ).

Ayrıca, birçok analizle ilgili bir sorun, fırsatçı olmaları ve önceden planlanmamış olmalarıdır (yani, "Verilere yeterince işkence yaparsanız, doğa her zaman itiraf edecektir" - Ronald Coase).

Genel olarak, bir analiz önceden planlanmışsa (istatistiksel güç için tekrarlanan bir analiz düzeltmesi ile), önemli olarak kabul edilebilir. Genellikle, birden fazla kişi veya grup tarafından tekrarlanan testler, bir şeyin işe yarayıp yaramadığını doğrulamanın en iyi yoludur. Ve sonuçların tekrarı çoğunlukla önem için doğru testtir.

Test, siyah-beyaz bir karar için bir araçtır, yani 'gerçek bir tedavi etkisi var mı?' Gibi bir evet / hayır sorusunu cevaplamaya çalışır. Genellikle, özellikle veri kümesi büyükse, bu soru oldukça kaynak kaybıdır. Neden 'gerçek tedavi etkisi ne kadar büyük?' Gibi nicel bir soruya cevap bulmanın mümkün olup olmadığını neden ikili bir soru soruyorsunuz? evet / hayır sorusuna dolaylı olarak cevap veren? Bu nedenle, bilgi sahibi olmayan bir evet / hayır sorusunu yüksek bir kesinlik ile cevaplamak yerine, genellikle daha fazla bilgi içeren güven aralıklarının kullanılmasını öneririz.