Son zamanlarda, Klammer ve ark. p-değerlerinin düzgün dağılması gerektiğini ifade eder. Yazarlara inanıyorum, ama neden böyle olduğunu anlayamıyorum.

Klammer, AA, Park, CY ve Stafford Noble, W. (2009) SEQUEST XCorr Fonksiyonunun İstatistiksel Kalibrasyonu . Proteome Araştırma Dergisi . 8 (4): 2106-2113.

Biraz netleştirmek için. Boş değer hipotezi doğruysa ve diğer tüm varsayımlar karşılandığında, p değeri eşit olarak dağılır. Bunun sebebi, gerçekten alfa tip I hata olasılığı olarak tanımlanmasıdır. Gerçek bir boş hipotezi reddetme olasılığının alfa olmasını istiyoruz, gözlemlenen olduğunda reddediyoruz, bunun alfa için tek yolu p-değeri tekdüze olduğunda geliyor dağılımı. Doğru dağılımı (normal, t, f, chisq, vb.) Kullanmanın bütün noktası, test istatistiklerinden tek tip bir p-değerine dönüştürmektir. Eğer boş hipotez yanlış ise, o zaman p-değerinin dağılımı (umarım) 0'a doğru daha fazla olacaktır.$\text{p-value} < \alpha$

Pvalue.norm.simVe Pvalue.binom.simfonksiyonlar TeachingDemos R paketin, birkaç veri setleri simüle p-değerleri hesaplamak ve bu fikri göstermek için onları arsa olacaktır.

Ayrıca bakınız:

Murdoch, D, Tsai, Y ve Adcock, J (2008). P-Değerleri Rastgele Değişkenlerdir. Amerikan İstatistiği , 62 , 242-245.

daha fazla ayrıntı için.

Düzenle:

İnsanlar hala bu cevabı okuyup yorum yazdıkları için @ whuber'un yorumuna hitap edeceğimi düşündüm.

gibi bileşik bir boş hipotez kullanıldığında , p değerlerinin yalnızca 2 araç tam olarak eşit olduğunda eşit olarak dağıtılacağı ve değerinden küçük olan herhangi bir değer olduğunda tekdüze olmayacağı . Bu işlev kullanılarak kolayca görülebilir ve tek taraflı bir test yapmaya ayarlanmış ve simülasyon ve hipotezlenmiş araçlar ile simüle edilerek farklı (ancak null değerini doğru yapacak şekilde) kolayca görülebilir .μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

İstatistiksel teoriye kadar, bu önemli değil. Ailenizin her üyesinden daha uzun olduğumu iddia edersem, bu iddiayı test etmenin bir yolu, boyumu her seferinde ailenizin her birinin boyuyla karşılaştırmaktır. Diğer bir seçenek ise, ailenizin en uzun üyesini bulmak ve boylarını benimkiyle karşılaştırmak olacaktır. Eğer bir kişiden daha uzun boyluysam, o zaman diğerlerinden de daha uzun boyluyumdur ve iddiam doğrudur, eğer o kişiden daha uzun boylu değilsem, iddiam yanlıştır. Kompozit bir test etmek, benzer bir işlem olarak görülebilir; sadece eşitlik kısmını test edebileceğimiz tüm olası kombinasyonları test etmek yerine, yalnızca lehine reddedebilirsekμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$o zaman biliyoruz ki bütün olasılıkları da reddedebiliriz . olduğu durumlar için p-değerlerinin dağılımına , dağılım mükemmel bir şekilde tekdüze olmayacaktır ancak 1'e 0'dan daha fazla değere sahip olacaktır, yani bir tip I hata olasılığının daha düşük olacağı anlamına gelir. Seçilen değeri muhafazakar bir test yapar. Üniforma, yaklaştıkça sınırlayıcı dağılım olur$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(stat-teori terimlerinde daha güncel olan insanlar muhtemelen bunu dağıtım üstünlüğü veya benzeri bir şey olarak daha iyi ifade edebilirler). Bu nedenle, testimizi, boş bir bileşik olduğunda bile boşluğun eşit kısmını varsayarak inşa ederek, testimizi boşluğun doğru olduğu herhangi bir koşul için en fazla olan bir tip I hata olasılığına sahip olacak şekilde tasarlıyoruz .$\alpha$

Boş hipotezi altında, test istatistikleriniz dağılımını (ör. Standart normal) gösterir. değerinin olasılık dağılımına sahip olduğunu gösteriyoruz Başka bir deyişle, düzgün olarak dağıtılır. Bu, tersinir olduğu sürece geçerlidir , bunun gerekli bir koşulu, ayrı bir rasgele değişken olmamasıdır.$T$$F(t)$$P=F(T)$P F ( ⋅ )

Bu sonuç geneldir: rastgele değişkenli bir tersinir CDF'nin dağılımı için aynıdır .$[0,1]$

, tüm için kümülatif dağılım fonksiyonu olan rastgele değişkeni göstermesine izin verin . tersinir olduğunu varsayarak , rasgele p-değeri nin dağılımını şu şekilde türetebiliriz :$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

dağılımının üzerinde eşit olduğu sonucuna varabiliriz .[ 0 , 1 $P$$[0,1]$

Bu cevap Charlie'ninkine benzer, ancak tanımlamaktan kaçınır .$t = F^{-1}(p)$

İki bağımsız değişken arasında doğrusal regresyon durumunda p değerlerinin dağılımının basit simülasyonu:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Bu cevapların çoğunun soruyu genel olarak cevapladığını sanmıyorum. Basit bir boş hipotez olduğunda ve test istatistiğinin tersinir bir CDF'ye sahip olduğu (kesinlikle artan bir CDF'ye sahip olan sürekli rastgele bir değişkende olduğu gibi) durumla sınırlıdır. Bu durumlar, çoğu insanın z-testi ve t-testi ile ilgilenmeye meyilli olduğu vakalardır, bununla birlikte bir binom ortalaması (örneğin) test etmek için böyle bir CDF bulunmaz. Yukarıda verilen bu sınırlı durumlar için gözlerime doğru görünüyor.

Eğer boş hipotezler kompozit ise, işler biraz daha karmaşıktır. Bileşik davada reddetme bölgeleriyle ilgili bazı varsayımlar kullanarak gördüğüm gerçeğin en genel kanıtı Lehmann ve Romano'nun "Statik Hipotezleri Test Etme" sayfa 63-64'te verilmiştir. Aşağıdaki argümanı tekrarlamaya çalışacağım ...

Biz sıfır hipotezi sınamak alternatif hipotez karşı rastgele değişken olarak ifade edeceğiz bir test istatistiği, dayalı . Test istatistiklerinin bazı parametrik sınıflardan geldiği varsayılmaktadır, yani, , ki burada olasılık dağılımları ailesinin bir elemanıdır ve bir parametre alanıdır. Boş hipotezi ve alternatif hipotez , bir bölümünü oluşturur . $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

Testin sonucu burada herhangi bir grubu için tanımladığımız Burada bizim önem seviyemizdir ve , önem seviyesi için testin reddetme bölgesini belirtir .

Reddetme bölgelerinin varsa, değerini karşıladığını varsayalım . Bu iç içe geçmiş reddetme bölgeleri durumunda, yalnızca boş hipotezin verilen bir önem düzeyinde ( reddedilip reddedilmeyeceğini belirlemek değil , aynı zamanda sıfır hipotezinin reddedileceği en küçük önem seviyesini belirlemek için de faydalıdır . Bu seviye p-değeri olarak bilinir , bu sayı bize Verilerin (test istatistiği gösterildiği gibi) ne kadar güçlü olduğu boş hipoteziyle .

Varsayalım ki bazıları için o . Ek olarak, reddetme bölgelerinin yukarıda belirtilen yerleştirme özelliğine uyduğunu varsayalım . Ardından aşağıdakiler geçerli olur:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Eğer tüm , daha sonra da , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. İçin ise Elimizdeki tüm , daha sonra da Elimizdeki $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Bu ilk özellik, sadece yanlış pozitif oran kontrol edilir söyler Not p-değeri daha düşük olduğunda, reddetme ile , ve ikinci özellik söyler p-değerleri, eşit boş altında dağıtılmaktadır (ek varsayımıyla) hipotez.$u$$u$

Kanıt aşağıdaki gibidir:

1. Bırakın ve varsayalım tüm . Sonra tanımına göre , tüm için . Monotonicity ve varsayım olarak, şu anlaşılıyor ki herkes için . İzin vermek , bu izler .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Let ve varsayalım tüm . Ardından ve monotonluk ile . (1) göz önüne alındığında, olduğunu izler . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

(2) 'deki varsayımın, boş hipotezin bileşik yerine basit olmasına rağmen bir test istatistiğinin ayrık olduğu durumlarda geçerli olmadığını unutmayın. Örneğin alın sahip ve . Yani, on kez bir yazı tura atın ve kafalara doğru önyargılı olup olmadığını test edin (1 olarak kodlanır). 10 dürüst parayla çevrilmiş kafada 10 kafa görme olasılığı (1/2) ^ 10 = 1/1024. 10 dürüst parayla 9 veya 10 kafa görme olasılığı 11/1024. Herhangi İçin eğer kesinlikle 1/1024 ve 11/1024 arasında, sen null adlı reddetmek istiyorum , ama biz yok bu değerler açısından ne zaman$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Bunun yerine bu . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Eğer p değerleri H0 altında eşit bir şekilde dağılmışsa, bu p = 0 p değeri 0 p = olarak görme olasılığının yüksek olduğu anlamına gelir, ancak bu, p değerini gözlemlemenin daha az olası olması nedeniyle doğru değildir. .05'in değeri, .80 değerinden daha büyüktür, çünkü bu kesin olarak p değerinin alındığı normal dağılımın tanımıdır. Normallik aralığında, bunun dışında, dışarıdan daha fazla örnek düşecek. Bu nedenle, daha küçük olanlardan daha büyük p değerleri bulma olasılığı daha yüksektir.