Hipotezin doğru olma olasılığını hesaplamak için p-değerini kullanma; başka ne gerekli?

Soru:

P-değerlerinin yaygın bir yanlış anlaşılması , sıfır hipotezinin doğru olma olasılığını temsil etmeleridir. Bunun doğru olmadığını biliyorum ve sıfır hipotezinin doğru olduğu göz önüne alındığında, p değerlerinin sadece bu kadar aşırı bir örnek bulma olasılığını temsil ettiğini biliyorum . Bununla birlikte, sezgisel olarak, birincisini ikincisinden türetmek gerekir. Kimsenin bunu yapmamasının bir nedeni olmalı. Hipotez olasılığını p-değeri ve ilgili verilerden elde etmemizi engelleyen hangi bilgileri kaçırıyoruz ?

---

Misal:

Bizim hipotezimiz "D vitamini ruh halini etkiler" (sıfır hipotezi "etki yok"). Diyelim ki 1000 kişi ile uygun bir istatistiksel çalışma yapıyoruz ve ruh hali ile vitamin seviyeleri arasında bir korelasyon buluyoruz. Diğer tüm şeyler eşit olduğunda, p değeri 0.01, gerçek hipotez olasılığının 0.05 p değerinden daha yüksek olduğunu gösterir. Diyelim ki p değeri 0,05. Hipotezimizin gerçek olma olasılığını neden hesaplayamıyoruz? Hangi bilgileri kaçırıyoruz?

---

Sık istatistikçiler için alternatif terminoloji:

Sorumun önermesini kabul ederseniz, burada okumayı bırakabilirsiniz. Aşağıdakiler, bir hipotezin olasılık yorumuna sahip olabileceğini kabul etmeyi reddeden insanlar içindir. Bir an için terminolojiyi unutalım. Yerine...

Diyelim ki arkadaşınızla bahis oynuyorsunuz. Arkadaşınız size ilgisiz konular hakkında bin istatistiksel çalışma gösterir. Her çalışma için sadece numunenin p-değerine, örnek büyüklüğüne ve standart sapmasına bakabilirsiniz. Her çalışma için, arkadaşınız size çalışmada sunulan hipotezin doğru olduğundan emin olmak için bazı olasılıklar sunar. Bahsi almayı ya da almamayı seçebilirsiniz. Tüm 1000 çalışma için bahis yaptıktan sonra, bir kehanet size yükselir ve size hangi hipotezin doğru olduğunu söyler. Bu bilgi bahisleri halletmenize izin verir. Benim iddiam bu oyun için en uygun stratejinin mevcut olduğudur. Benim dünya görüşümde bu, hipotezin gerçek olma olasılıklarını bilmekle eşdeğerdir, ancak buna katılmazsak, sorun değil. Bu durumda, bahisler için beklentiyi en üst düzeye çıkarmak için p-değerlerini kullanmanın yolları hakkında konuşabiliriz.

Diğer cevapların hepsi felsefi olur, ancak burada neden gerekli olduğunu anlamıyorum. Örneğinizi ele alalım:

Bizim hipotezimiz "D vitamini ruh halini etkiler" (sıfır hipotezi "etki yok"). Diyelim ki 1000 kişi ile uygun bir istatistiksel çalışma yapıyoruz ve ruh hali ile vitamin seviyeleri arasında bir korelasyon buluyoruz. Diğer tüm şeyler eşit olduğunda, p değeri 0.01, gerçek hipotez olasılığının 0.05 p değerinden daha yüksek olduğunu gösterir. Diyelim ki p değeri 0,05. Hipotezimizin gerçek olma olasılığını neden hesaplayamıyoruz? Hangi bilgileri kaçırıyoruz?

İçin $n=1000$, elde $p=0.05$ örnek korelasyon katsayısına karşılık gelir $\hat \rho=0.062$. Sıfır hipotezi$H_0: \rho=0$. Alternatif hipotez$H_1: \rho\ne 0$.

P değeri

$$p\text{-value} = P\big(|\hat\rho|\ge 0.062 \;\big|\; \rho=0\big),$$ ve bunu örnekleme dağılımına göre hesaplayabiliriz. $\hat\rho$sıfırın altında; başka hiçbir şeye ihtiyaç yoktur.

Hesaplamak istiyorsun

$$P(H_0\;|\;\text{data})=P\big(\rho=0\;\big|\; \hat\rho= 0.062\big),$$

ve bunun için bir sürü ek malzemeye ihtiyacınız var. Gerçekten de, Bayes teoremini uygulayarak aşağıdaki gibi yeniden yazabiliriz:

$$\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)}{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)+P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big) \cdot (1-P(\rho=0))}.$$

Bu nedenle, sıfırın posterior olasılığını hesaplamak için iki ek şeye ihtiyacınız vardır:

1. Sıfır hipotezi doğru olmadan önce: $P(\rho=0)$.
2. Nasıl olduğu hakkında varsayım $\rho$Alternatif hipotez doğruysa dağıtılır. Bunu hesaplamak için gereklidir$P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)$ terim.

Eğer bunu kabul etmeye istekliyseniz $P(\rho=0)=0.5$ --- kişisel olarak bunun neden anlamlı bir varsayım olması gerektiğinden emin olmasam bile, --- hala dağıtımını üstlenmeniz gerekecek. $\rho$alternatif altında. Bu durumda, Bayes faktörü olarak adlandırılan bir şeyi hesaplayabilirsiniz :

$$B=\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) }{P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)}.$$

Gördüğünüz gibi, Bayes faktörü yok değil boş önceden olasılık bağlıdır, ancak vermez önceden olasılık bağlıdır$\rho$ (alternatif altında).

[Bayes faktörünün adayının eşitsizlik işareti yerine eşitlik nedeniyle p değeri olmadığını lütfen unutmayın. Yani Bayes faktörünü hesaplarken veya$P(H_0)$p-değerinin kendisini hiç kullanmıyoruz . Ama elbette örnekleme dağılımını kullanıyoruz$P(\hat\rho\;|\;\rho=0)$.]

Quid est veritas?

@ Amoeba'nın cevabını orijinal poster kadar kolay kabul edebilirim. Ancak, tüm çalışmalarımda, "sıfır hipotezinin doğru olma olasılığını" hesaplayan bir Bayes analizi ile karşılaşmadım. Ve böyle bir sonuç, çalışmanızı gözden geçirenlerden bir dizi argümanı çekecektir! Felsefi olarak, doesbizi şu soruya geri getirin: "gerçek nedir?" Belki de “hakikat”, kendisini kanıtlamak için bile reddedilemez. İstatistik, belirsizliği ölçmek için bir bilim aracıdır. Kanıtların bir gerçeği güçlü bir şekilde gösterebilmesine rağmen, her zaman yanlış pozitif bulgu riski olduğunu ve İyi İstatistikçi'nin bu riski bildirmesi gerektiğini savunuyorum. Bayesçi karar teorik testinde bile, kabaca orantılı Bayes faktörlerine dayanan hipotezleri kabul edebilmemiz veya reddedebilmemiz için bir karar kuralı verilir.$Pr(H_0 | X)$, ama inancımız asla $1$ veya $0$kararımız olsa bile. Karar teorisi bize kısmi bilgi ile “ilerlemek” ve bu riskleri kabul etmek için bir araç sunmaktadır.

Sıfır hipotez istatistiksel testinin (NHST) gerekçesinin bir kısmı ve $p$-değer, Karl Popper'ın tahrif etme felsefesidir . Burada: kritik bir varsayım, "gerçeğin" asla bilinmediği, sadece diğer hipotezleri azaltabiliriz. NHST'nin ilginç ve geçerli bir eleştirisi, açıklayıcı (çıkarımsal olmayan) bir çalışma ile gerçekten ilgilendiğinizde sigara içmenin kansere neden olmadığı gibi saçma varsayımlar yapmaya zorlandığınızdır : ve sadece sigara içmenin ne kadar neden olduğunu açıklıyorsunuz .

Ters eleştiri, daha önce öncelikleri uygulayabileceğiniz Bayesian çalışmalarına uygulandı: Dennis Lindley, "Önceden 0 ayının peynirden yapılmış olmasıyla, peynirle dolu kollarla dönen astronotlar hala ikna edemedi." Dedi.

Sıfır hipotezinin doğru olup olmadığını belirleyen eksik bilgi, önemsiz olarak, sıfır hipotezinin doğru olup olmadığı bilgisidir. İronik olarak, tanımlayıcı istatistiklere odaklandığında, olası etkilerin tolere edilebilir aralıklarını kabul edebilir ve bir eğilimin muhtemelen doğru olduğunu bir şekilde güçlü bir şekilde sonuçlandırabiliriz : ancak istatistiksel testler bizi bu tür bulgulara götürmez. Bayesian çıkarımda bile, hiçbir veri bazı metodolojik sorunları olmadan tekil bir posteriora yol açmayacaktır, bu nedenle bir önceliğin dahil edilmesi bu sorunu çözmez.

İstatistiksel tarihte söylediklerinizi tam olarak yapmak için iki deneme vardır: Bayes ve Fiducial. RA Fisher iki istatistiksel düşünme okulu kurdu, maksimum olabilirlik metodu etrafında inşa edilen Likelihoodist okul ve başarısızlıkla sonuçlanan ama tam olarak ne istediğini yapmaya çalışan Fiducial.

Neden başarısız olduğuna dair kısa cevap, olasılık dağılımlarının birliğe entegre olmamasıdır. Sonuçta ders, önceki olasılığın, yaratmaya çalıştığınız şeyi yaratmak için gerekli bir şey olmasıydı. Gerçekten, tarihin en büyük istatistikçilerinden birinin yoluna gidiyorsunuz ve diğer büyüklerin birkaçından fazlası bu soruna bir çözüm umuduyla öldü. Bulunursa, çözebilecekleri sorun türleri açısından Bayes yöntemleriyle eşit hipotez yöntemleri uygulardı. Gerçekten de, gerçek ön bilgilerin olmadığı yerler dışında Bayes'i zorlayacaktı.

Ayrıca, bir p-değerinin alternatif için daha yüksek bir olasılığa işaret ettiğini beyanınıza dikkat etmek istersiniz. Bu sadece Fisherian Likelihoodist okulunda geçerlidir. Pearson-Neyman Frequentist okulunda hiç doğru değil. En alttaki bahsiniz Pearson-Neyman bahsi gibi görünürken, p değeriniz Fisherian okulundan geldiği için uyumsuzdur.

Hayırsever olmak için, örneğiniz için yayın yanlılığının olmadığını ve bu nedenle yüksek yanlış bulma oranı oluşturan dergilerde yalnızca önemli sonuçların ortaya çıktığını varsayacağım. Sonuçlara bakılmaksızın, bunu yapılan tüm çalışmaların rastgele bir örneği olarak görüyorum. Bahis oranlarınızın kelimenin klasik de Finetti anlamında tutarlı olmayacağını iddia ediyorum.

De Finetti'nin dünyasında, bahisçi oyuncular tarafından oynanamazsa, kesin bir kayıpla karşı karşıya kalırlarsa, bahis tutarlıdır. En basit yapıda, pastayı kesme sorununun çözümü gibidir. Bir kişi parçayı ikiye böler, ancak diğeri istediği parçayı seçer. Bu yapımda, bir kişi her hipotezdeki bahislerin fiyatlarını ifade eder, ancak diğer kişi bahsi almayı veya satmayı seçer. Özünde, null değerini kısa satabilirsiniz. İdeal olmak için, oranların kesinlikle adil olması gerekir. P değerleri adil oranlara yol açmaz.

Bunu açıklamak için http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf adresindeki Wetzels ve arkadaşlarının çalışmasını düşünün.

Atıf şöyledir: Ruud Wetzels, Dora Matzke, Michael D. Lee, Jeffrey N. Rounder, Geoffrey J. Iverson ve Eric-Jan Wagenmakers. Deneysel Psikolojide İstatistiksel Kanıtlar: 855 t Test Kullanarak Ampirik Bir Karşılaştırma. Psikolojik Bilime Yaklaşımlar. 6 (3) 291-298. 2011

Bu, önceki dağıtım problemini atlamak için Bayes faktörlerini kullanan 855 yayınlanan t-testinin doğrudan karşılaştırmasıdır. .05 ve .01 arasındaki p değerlerinin% 70'inde, Bayes faktörleri en iyi şekilde anekdottur. Bu, Frequentists tarafından sorunu çözmek için kullanılan matematiksel formdan kaynaklanmaktadır.

Boş hipotez yöntemleri, modelin doğru olduğunu ve yapıları ile olasılık dağılımından ziyade bir minimaks istatistiksel dağılım kullandığını varsayar. Bu faktörlerin her ikisi de Bayes ve Bayes olmayan çözümler arasındaki farklılıkları etkiler. Bayesian yönteminin bir hipotezin posterior olasılığını yüzde üç olarak değerlendirdiği bir çalışma düşünün. P-değerinin yüzde beşin altında olduğunu düşünün. Her ikisi de doğrudur, çünkü yüzde üç yüzde beşten azdır. Bununla birlikte, p değeri bir olasılık değildir. Bir hipotezin doğru veya yanlış olduğu gerçek olasılığı değil, yalnızca verileri görme olasılığı olabilecek maksimum değeri belirtir. Gerçekten, p-değeri yapısı altında, gerçek null ile şanstan kaynaklanan etkiler ve iyi verilerle yanlış null değeri ayırt edemezsiniz.

Wetzel çalışmasına bakarsanız, p değerlerinin ima ettiği oranların Bayes ölçüsünün ima ettiği oranlarla eşleşmediğinin çok açık olduğunu göreceksiniz. Bayes ölçüsü hem kabul edilebilir hem de tutarlı olduğu ve Bayesci olmayanların tutarlı olmadığı için, p-değerleri haritasını gerçek olasılıklarla varsaymak güvenli değildir. Null değerinin geçerli olduğu varsayımı, iyi kapsama olasılıkları sağlar, ancak iyi kumar olasılıkları üretmez.

Neden daha iyi hissetmek için, Cox'un ilk aksiyomunu bir hipotezin akla yatkınlığının gerçek bir sayı ile tanımlanabileceğini düşünün. Örtük olarak, bu, tüm hipotezlerin mantıklılıklarına bağlı gerçek bir sayıya sahip olduğu anlamına gelir. Sıfır hipotez yöntemlerinde, sadece sıfırın mantıklılığına bağlı gerçek bir sayısı vardır. Alternatif hipotezin hiçbir ölçümü yapılmamıştır ve sıfırın doğru olduğu göz önüne alındığında verilerin gözlemlenmesi olasılığının tamamlayıcısı değildir. Aslında, null doğruysa, tamamlayıcı verilere bakılmaksızın varsayımla yanlıştır.

Eğer olasılıkları ölçümünüzün temeli olarak p-değerlerini kullanarak oluşturduysanız, o zaman Bayesci ölçümleri kullanarak Bayesyan her zaman size karşı bir avantaj elde edebilir. Bayesian oranları koyarsa, Pearson ve Neyman karar teorisi bir bahis beyanı verir veya bahis oynamaz, ancak bahis miktarını tanımlayamazlar. Bayesci oranlar adil olduğu için Pearson ve Neyman yöntemini kullanmanın beklenen kazancı sıfır olacaktır.

Gerçekten de, Wetzel çalışması yapmaktan bahsettiğiniz şeydir, ancak 145 daha az bahisle. Tablo 3'e bakarsanız, Frequentist'in null'u reddettiği bazı çalışmalar görürsünüz, ancak Bayesian, olasılığın null olduğunu olumlu buluyor.

Bir frekans analizi, belirli bir hipotezin doğru (veya yanlış) olma olasılığını veremez, çünkü uzun çalışma frekansı yoktur (ya doğru ya da değildir), bu nedenle ona bir olasılık atayamayız (belki 0 veya 1 hariç) ). Belirli bir hipotezin doğru olma olasılığını bilmek istiyorsanız, Bayesci bir çerçeveyi benimsememiz gerekir (basit olduğu yerde, sadece önceki olasılıkları dikkate almamız gerekir).

Frekansçılar, sıfır hipotez testlerine ( Neyman-Pearson çerçevesi) etki etmek için en uygun stratejileri bulabilirler , ancak bunu hipotezin doğru olma olasılığına çeviremezler, ancak sadece bir olasılık tanımlamaları nedeniyle.

Tüm 1000 çalışma için bahis yaptıktan sonra, bir kehanet size yükselir ve size hangi hipotezin doğru olduğunu söyler. Bu bilgi bahisleri halletmenize izin verir. Benim iddiam, bu oyun için en uygun stratejinin mevcut olduğudur.

Kurulumunuzdaki sorun Oracle. Genellikle bahisleri halletmek gelmez. Diyelim ki, sigara içmenin kansere yol açma olasılığının% 97 olduğu iddia ediliyor. Bu Oracle bahsi ne zaman yerine getirecek? Asla. O zaman optimal stratejinizin optimal olduğunu nasıl kanıtlarsınız?

Bununla birlikte, bir Oracle'ı kaldırır ve rakipler ve müşteriler gibi diğer aracıları tanıtırsanız, o zaman en uygun strateji olacaktır. Korkarım p değerlerine dayanmayacak. Gosset'in kayıp fonksiyonları ile yaklaşımına daha benzer olacaktır. Örneğin, siz ve tarım sektöründeki rakipleriniz hava tahminlerinin doğru olduğuna bahse giriyorsunuz. Kim daha iyi bir strateji seçerse daha fazla para kazanacaktır. Oracle'da gerek yok ve bahisler pazarlara yatırılıyor. Stratejiyi burada p-değerlerine dayandıramazsınız, kayıp ve karları dolar cinsinden hesaba katmanız gerekir.

Hipotezde gerçek dünyayla ilgili bazı ifadeleri test etmek istersiniz, örneğin tüm erkeklerin ortalama uzunluğu 1,75 m'dir. Daha sonra aşağıdaki gibi bir hipotez testi formüle edeceğiz:$H_0: \mu_L=1.75$ karşı $H_1: \mu_L \ne 1.75$.

Bu bizim ifademiz ve gerçek dünyada bunun bir gerçek olup olmadığını test etmek istiyoruz. Ancak, frekansçılar gerçek dünyada bunun doğru ya da yanlış olduğunu belirtir. Gerçek dünyada olduğu gibi$H_0$ doğru ya da yanlış, bu gerçek dünyada $P(H_0=TRUE)$ 0 veya 1'dir.

Teoride hipotez testimizin sonucu $H_0$doğru ya da yanlıştır, ancak sadece bir örnek üzerinde çalıştığımızdan böyle zor sonuçlar çıkaramayız, bu nedenle 'çelişkili kanıt' olarak adlandırılan bir matematiksel tekniğin bazı istatistiksel varyantlarını kullanmaya çalışırız. Ayrıntılar için bkz . Boş hipotezi reddedemezsek ne olur? .

P-değerleri hakkında bir iş parçacığı için bkz. P-değerini yanlış mı anlıyorsunuz?

Baysyalılar farklı bir şey yapar; testin sonucundaki inançlarını veya güvenilirliklerini ifade ederler, bu nedenle$H_0$ doğrudur, ancak testten sonra yaptıkları sonuca daha fazla inanç derecesi hakkında $H_0$. Bu yüzden '' güvenilirlik '' denir.

Örneğinizi alırsanız, "$H_0:$ D vitamini ruh halini “karşısında” etkiler$H_1:$ "D vitamini ruh halini etkilemez".

Bir örneğe dayanarak bazı test istatistiklerini hesaplarsınız ve bu testin $H_0$doğru. Test istatistiğinin bu değeri çok düşükse (seçilen önem seviyesinin altında),$H_0$ doğrudur, çok imkansız bir şeye yol açar ya da `` istatistiksel bir çelişki '' demeye yol açar ve

Sıklıkla bu tür bir durumda $H_0$istatistiksel anlamsızlığa yol açar. Ancak, `` gerçek dünyada '' sadece bir gerçek var$H_0$ veya $H_1$ !

Bayesliler, $H_0$veriler göz önüne alındığında doğrudur. Yani orada, gerçek dünyada,$H_0$ doğru ya da $H_1$ doğrudur, ancak verileri kullanarak, (verilerden türetilen) inanç derecelerini ifade edebilirler. $H_0$ doğru.

Buna `` hipotezin güvenilirliği '' diyorlar, ancak olasılık hakkında hiçbir şey söylemiyor. $H_0$ doğrudur (ne de $H_1$ doğru)

Sadece, '' mevcut verilerden '' türetilen '' test sonucuna '' olan inançlarını ifade ediyorlar.