Hipotez testinde p değerinin yorumlanması

Geçenlerde "Boş Hipotez Önemlilik Testinin Önemsizliği", Jeff Gill (1999) adlı makaleyle karşılaştım . Yazar, hipotez testi ve p-değerleri ile ilgili iki özel sorum var.

1. P-değeri teknik olarak kağıdı ile sivri dışarı olarak, genellikle bize yaklaşık bir bilgi vermez, , marjinal dağılımları bilmediğimiz sürece, "günlük" hipotez testlerinde nadiren durum böyledir. Küçük bir p değeri elde ettiğimizde ve "sıfır hipotezini reddettiğimizde" hakkında bir şey söyleyemediğimiz için yaptığımız olasılıksal ifade tam olarak nedir?p ( lH 0 | o B s e r v bir T i O , n ) P ( lH 0 | o B s e r v bir T ı o n$P({\rm observation}|H_{0})$$P(H_{0}|{\rm observation})$$P(H_{0}|{\rm observation})$
2. İkinci soru, makalenin 6. sayfasındaki (652) belirli bir ifadeyle ilgilidir:

P-değeri veya yıldızlarla gösterilen p-değerleri aralığı önceden ayarlanmadığından, Tip I hatası yapma konusunda uzun vadeli bir olasılık değildir, ancak tipik olarak olduğu gibi kabul edilir.

Bu ifadenin ne anlama geldiğini açıklamak için herhangi biri yardımcı olabilir mi?

(Teknik olarak, P değeri, boş hipotezi göz önüne alındığında, en azından gerçekte olduğu kadar uç verileri gözlemleme olasılığıdır .)

S1. Boş hipotezi küçük bir P-değeri temelinde reddetme kararı tipik olarak 'Fisher'ın bağlantısının kesilmesine' bağlıdır: Nadir bir olay oldu ya da boş hipotezi yanlıştır. Aslında, olayın nadir olması, boş değerin yanlış olma ihtimalinden ziyade P-değerinin size söylediği şeydir.

Boş değerin yanlış olma olasılığı, deneysel verilerden yalnızca boş hipotezin 'muhtemelen' marjinal dağılımlar olarak adlandırdığı '' varsayımına sahip olma olasılığını 'gerektiren' Bayes 'teoremi ile elde edilebilir.

S2. Sorunuzun bu kısmı göründüğünden çok daha zor. P-değerleri ve hata oranlarıyla ilgili, muhtemelen, Gill’in "ancak tipik olarak böyle muamele gördüğü" ifadesiyle ilgili çok fazla karışıklık var. Fisherian P değerlerinin Neyman-Pearsonian hata oranlarıyla birleşimi tutarsız bir karmakarışık olarak adlandırıldı ve ne yazık ki çok yaygın. Burada kısa bir cevap tamamen yeterli olmayacak, ancak sizi birkaç iyi makaleye yönlendirebilirim (evet, biri benim). Her ikisi de Gill kağıtlarını anlamanıza yardımcı olacaktır.

Hurlbert, S. ve Lombardi, C. (2009). Neyman-Pearson karar teorik çerçevesinin son çöküşü ve neoFisherian'ın yükselişi. Annales Zoologici Fennici, 46 (5), 311-349. (Kağıda bağlantı)

Lew, MJ (2012). Farmakolojide kötü istatistiksel uygulama (ve diğer temel biyomedikal disiplinler): muhtemelen bilmiyorsunuz P. British Journal of Pharmacology, 166 (5), 1559-1567. doi: 10.1111 / j.1476-5381.2012.01931.x ( Kağıda bağlantı)

+1 to @MichaelLew, size iyi bir cevap vermiştir. Belki de 2. Çeyrek hakkında düşünmenin bir yolunu sunarak katkıda bulunabiliyorum. Aşağıdaki durumu göz önünde bulundurun:

• Boş hipotez doğrudur. (Eğer boş hipotez doğru değilse , I tipi hataların mümkün olmadığını ve değerinin ne anlama geldiği net değildir .) $p$
• $\alpha$ geleneksel olarak olarak ayarlandı . $0.05$
• Hesaplanan -değeri olan . $p$$0.01$

Şimdi, verilerinizi verilerinizden daha aşırı ya da daha çok aşırı alma olasılığı % 1'dir ( değerinin anlamı budur). Boş bir hipotezi reddettiniz ve bir tip I hata yaptınız . Uzun vadede I tipi hata oranının bu durumda% 1 olduğu ve birçok kişinin sezgisel olarak sonuçlayabileceği doğru mu? Cevap hayır . Bunun nedeni, bir değeri almış olsaydınız, yine de boş değeri reddedersiniz. Aslında, hatta eğer null adlı reddedilen olurdu olmuştu ve uzun vadede, 'oluşacak bu büyük a bağlı$p$ p 0.02 p 0.04 ˉ 9 p ≈ α$p$$0.02$$p$$0.04\bar{9}$$p$$\approx$Zamanın% 5'i ve tüm bu reddedilmeler I tipi hatalar olacaktır. Dolayısıyla, uzun çalışma tipi I hata oranı% 5'tir ( aldığınız yerde ). $\alpha$

(Açıklama: Gill'in makalesini okumamıştım, bu yüzden bunun ne anlama geldiğini garanti edemiyorum, ancak değerinin uzun vadede tür I hata oranıyla [mutlaka] aynı olmadığı iddiasını anlamlıdır . )$p$

"Boş hipotez anlamlılık testinin önemsizliği" ile ilgili bir yorum yapmak istiyorum, ancak OP sorusunu cevaplamıyor.

Benim düşünceme göre, asıl sorun değerinin yanlış yorumlanması değildir . Birçok uygulayıcı genellikle örneğin "önemli bir fark" ı test eder ve yanlış bir şekilde önemli bir farkın "büyük" bir fark olduğu anlamına geldiğine inanırlar. Daha doğrusu bunlar şeklinde bir "kesin" boş hipotezi bağlamındadırlar . Bu hipotez , numune boyutu arttığında çok küçük bir bile olduğunda reddedilecektir . Ama gerçek dünyada, küçük arasında hiçbir fark yoktur ve (biz olduğunu söylüyor denklik küçük arasına ve, H 0 H 0 : { θ = 0 } θ = ε ε ε 0 ε $p$$H_0$$H_0\colon\{\theta=0\}$$\theta=\epsilon$$\epsilon$$\epsilon$$0$$\epsilon$$0$ ve eşdeğerlik testi böyle bir durumda gitmenin yoludur).