P değerleri ne zaman yanıltıcıdır?

Dikkat etmemiz gereken veri koşulları nelerdir, nerede p-değerleri istatistiksel anlamlılığa karar vermenin en iyi yolu olmayabilir? Bu kategoriye giren belirli sorun türleri var mı?

Bir veri kümesine karşı çok sayıda hipotezi test ederken veya aynı veriler tarafından önerilen bir veri kümesine karşı hipotezleri test ederken olan Veri Tarama'yı soruyorsunuz .

Özellikle, Çoklu hipotez tehlikesi ve veriler tarafından önerilen Test hipotezlerine göz atın .

Çözüm, Yanlış keşif oranı veya Scheffé'nin yöntemi veya (çok eski okul) Bonferroni düzeltmesi gibi Familywise hata oranı için bir tür düzeltme kullanmaktır .

Biraz daha az titiz bir şekilde, keşiflerinizi, her bir istatistiksel sonuç için olasılık oranı (OR) için güven aralığına göre filtrelemenize yardımcı olabilir. Oran oranı için% 99 güven aralığı 10-12 ise, OR , özellikle örnek boyutu da büyükse, son derece küçük bir olasılıkla <= 1'dir . Böyle bir şey bulursanız, milyonlarca hipotezin testinden çıkmış olsa bile muhtemelen güçlü bir etkidir.

P değerini bağlam dışında düşünmemelisiniz.

Oldukça basit bir nokta ( xkcd ile gösterildiği gibi ) aslında kaç tane test yaptığınızı düşünmeniz gerektiğidir. Açıkçası, sıfır hipotezi her seferinde doğru olsa bile, her 20 testten biri için p <0.05'i görmekten şok olmamalısınız.

Bunun daha ince bir örneği yüksek enerjili fizikte ortaya çıkar ve başka yere bakma etkisi olarak bilinir . Yeni bir parçacığı temsil edebilecek bir sinyali aradığınız parametre alanı ne kadar büyük olursa, sadece rastgele dalgalanmalardan dolayı görünen bir sinyal görme olasılığınız o kadar artar.

Dikkat etmeniz gereken bir şey, kullandığınız örnek boyutudur. Sayım verileri kullanan ekonomistler gibi çok büyük örnekler sönük p değerlerine yol açacaktır. Bu makale "Başarısız Olamayacak Kadar Büyük: Büyük Örnekler ve p-Değeri Sorunu" bazı konuları kapsamaktadır.