Dikkat etmemiz gereken veri koşulları nelerdir, nerede p-değerleri istatistiksel anlamlılığa karar vermenin en iyi yolu olmayabilir? Bu kategoriye giren belirli sorun türleri var mı?
Dikkat etmemiz gereken veri koşulları nelerdir, nerede p-değerleri istatistiksel anlamlılığa karar vermenin en iyi yolu olmayabilir? Bu kategoriye giren belirli sorun türleri var mı?
Yanıtlar:
Bir veri kümesine karşı çok sayıda hipotezi test ederken veya aynı veriler tarafından önerilen bir veri kümesine karşı hipotezleri test ederken olan Veri Tarama'yı soruyorsunuz .
Özellikle, Çoklu hipotez tehlikesi ve veriler tarafından önerilen Test hipotezlerine göz atın .
Çözüm, Yanlış keşif oranı veya Scheffé'nin yöntemi veya (çok eski okul) Bonferroni düzeltmesi gibi Familywise hata oranı için bir tür düzeltme kullanmaktır .
Biraz daha az titiz bir şekilde, keşiflerinizi, her bir istatistiksel sonuç için olasılık oranı (OR) için güven aralığına göre filtrelemenize yardımcı olabilir. Oran oranı için% 99 güven aralığı 10-12 ise, OR , özellikle örnek boyutu da büyükse, son derece küçük bir olasılıkla <= 1'dir . Böyle bir şey bulursanız, milyonlarca hipotezin testinden çıkmış olsa bile muhtemelen güçlü bir etkidir.
P değerini bağlam dışında düşünmemelisiniz.
Oldukça basit bir nokta ( xkcd ile gösterildiği gibi ) aslında kaç tane test yaptığınızı düşünmeniz gerektiğidir. Açıkçası, sıfır hipotezi her seferinde doğru olsa bile, her 20 testten biri için p <0.05'i görmekten şok olmamalısınız.
Bunun daha ince bir örneği yüksek enerjili fizikte ortaya çıkar ve başka yere bakma etkisi olarak bilinir . Yeni bir parçacığı temsil edebilecek bir sinyali aradığınız parametre alanı ne kadar büyük olursa, sadece rastgele dalgalanmalardan dolayı görünen bir sinyal görme olasılığınız o kadar artar.
Dikkat etmeniz gereken bir şey, kullandığınız örnek boyutudur. Sayım verileri kullanan ekonomistler gibi çok büyük örnekler sönük p değerlerine yol açacaktır. Bu makale "Başarısız Olamayacak Kadar Büyük: Büyük Örnekler ve p-Değeri Sorunu" bazı konuları kapsamaktadır.