Tam iki örnek oranlı binom testi R (ve bazı garip p-değerleri)

Aşağıdaki soruyu çözmeye çalışıyorum:

A oyuncusu 25 maç arasından 17 kazanırken B oyuncusu 20 üzerinden 8 kazandı - her iki oran arasında da önemli bir fark var mı?

Akla gelen R'de yapılacak şey şudur:

> prop.test(c(17,8),c(25,20),correct=FALSE)

    2-sample test for equality of proportions without continuity correction

data:  c(17, 8) out of c(25, 20)
X-squared = 3.528, df = 1, p-value = 0.06034
alternative hypothesis: two.sided
95 percent confidence interval:
 -0.002016956  0.562016956
sample estimates:
prop 1 prop 2 
  0.68   0.40 

Dolayısıyla bu test, farkın% 95 güven seviyesinde anlamlı olmadığını söylüyor.

Çünkü bunun prop.test()yalnızca bir yaklaşım kullandığını biliyoruz, kesin bir binom testi kullanarak işleri daha kesin yapmak istiyorum - ve her iki yönde de yaparım:

> binom.test(x=17,n=25,p=8/20)

    Exact binomial test

data:  17 and 25
number of successes = 17, number of trials = 25, p-value = 0.006693
alternative hypothesis: true probability of success is not equal to 0.4
95 percent confidence interval:
 0.4649993 0.8505046
sample estimates:
probability of success 
                  0.68 

> binom.test(x=8,n=20,p=17/25)

    Exact binomial test

data:  8 and 20
number of successes = 8, number of trials = 20, p-value = 0.01377
alternative hypothesis: true probability of success is not equal to 0.68
95 percent confidence interval:
 0.1911901 0.6394574
sample estimates:
probability of success 
                   0.4 

Şimdi bu garip, değil mi? P-değerleri her seferinde tamamen farklı! Her iki durumda da, sonuçlar (oldukça) belirgindir ancak p-değerleri oldukça yerinde fırlamış gibi görünmektedir.

Sorularım

1. Her seferinde neden farklı p değerleri var ?
2. Tam olarak iki örnek oranlı binom testini R'de doğru bir şekilde nasıl yapabilirim?

İki binom oran için 'kesin' bir test arıyorsanız, Fisher's Exact Test'i aradığınıza inanıyorum . R'de şöyle uygulanır:

> fisher.test(matrix(c(17, 25-17, 8, 20-8), ncol=2))
    Fisher's Exact Test for Count Data
data:  matrix(c(17, 25 - 17, 8, 20 - 8), ncol = 2)
p-value = 0.07671
alternative hypothesis: true odds ratio is not equal to 1
95 percent confidence interval:
  0.7990888 13.0020065
sample estimates:
odds ratio 
  3.101466 

Bu fisher.testişlev 'başarı' nın matris nesnesini kabul eder ve iki binom oranındaki 'başarısızlık' olur. Gördüğünüz gibi, iki taraflı hipotez hala önemli değil, söylediğim için üzgünüm. Bununla birlikte, Fisher's Exact testi tipik olarak yalnızca bir hücre sayısı düşük olduğunda uygulanır (tipik olarak bu, 5 veya daha az ancak bazıları 10 derken), bu nedenle ilk kullanımınız prop.testdaha uygundur.

binom.testÇağrılarınızla ilgili olarak, aramayı yanlış anlıyorsunuz. Eğer çalıştırdığınızda binom.test(x=17,n=25,p=8/20)size oran nüfusu önemli ölçüde farklı olup olmadığı test ediyoruz başarı olasılığı 20/08 olduğunu . Aynı şekilde , başarı olasılığının 17/25 olduğunu binom.test(x=8,n=20,p=17/25)söylemektedir. Bu nedenle bu p değerleri farklıdır. Bu nedenle, iki oranı hiç karşılaştırmıyorsunuz.

Bilinen bir hipoteze kıyasla iki örnek ile örnek arasında fark vardır. Yani eğer biri 100 kez para atarsa ​​ve 55 kez kafa atarsa ​​ve hipotez adil bir parasa, iki kişi bilinmeyen adaletli bir para atarsa ​​ve biri 55 kez diğeri 45 kez kafa atarsa. Eski durumda, yüzgecin adil bir madeni parayı çeviriyor gibi görünüp görünmediğini anlamaya çalışıyorsunuz. İkincisinde, aynı adaletten paraları çevirip çevirmediklerini görmek istiyorsunuz. Her oyuncuya bilinen bir olasılığa (45 - 50 ve 55 ve 50) karşı bakıyorsanız, onları birbirleriyle karşılaştırmaktan (45 - 55) farklı olduğunu görebilirsiniz.

Sözdizimi, binom.testbir popülasyon noktası tahminine kıyasla, birkaç denemedeki başarılarınızdır . Her ne kadar p = 8/20 olarak girmiş olsanız da, hesaplama sanki etrafındaki sıfır varyansa sahip, Tanrı tarafından verilen mutlak bir gerçek 0.4'tür. Veya sanki oyuncu A'nın 25'inden kazandığı 17'lik oyuncuyu B'nin varsayımsal olan 8 milyar'ı 20 milyarlık oyundan kazanıyormuş gibi. Ancak, prop.test17/25 oranını tüm potansiyel varyansı ile 8/20 oranını tüm varyansı ile karşılaştırmaktadır. Diğer bir deyişle, 0.7 (17/25 tahmini) ve varyans çevresinde varyans yaklaşık 0.4 olabilir kanamaya bir Elde edilen p = 0.06 ile birbirlerine.

Öncelikle, sürekli (ki-kare) dağılımlı ayrık bir dağılım tahmin ettiğiniz için bir süreklilik düzeltmesi yapmak istediğinizi öneririm.

İkincisi, eğer yapacak olursanız “deney” in nasıl yapıldığının açık olması önemlidir. Her bir insanın oynadığı oyun sayısı önceden belirlendi mi (ya da endüstriye özgü, tasarım tarafından belirlendi)? Öyleyse ve her oyuncunun sonuçlarının diğerinden bağımsız olduğunu varsayarsak, 2 binom dağılımının ürünü ile uğraşıyorsunuz. Bunun yerine oyunların sayısı değişebilirse (örneğin, her bir kişinin oynadığı oyunların sayısı, her birinin sabit bir zaman diliminde tamamlayabildiği oyunların sayısına göre değişkendir), o zaman bir Multinomial ile uğraşıyorsunuz demektir. veya Poisson dağılımı.

İkinci durumda ki-kare testi (ya da aynı olan ne ise, oranlardaki bir z-testi) uygundur, ancak önceki durumda uygun değildir. İlk durumda, her oyuncu için muhtemel her binomik sonucun kesin ürününü hesaplamanız ve bu olasılıkları gözlemlenen sonuçların ortak binom olasılığına eşit veya daha az olan tüm oluşumlar için bu olasılıkları toplamalısınız. 2 binomun ürünüdür çünkü her oyuncunun sonuçları diğer oyuncunun sonuçlarından bağımsızdır).

İlk önce, herhangi bir hipotez testinin temel amacının, diğer olası sonuçlarla karşılaştırıldığında gözlemlediğiniz belirli sonucun ne kadar “nadir” veya olağandışı olduğunu hesaplamak olduğunu kabul edin. Bu, boş hipotezin doğru olduğu varsayımı göz önüne alındığında - gözlemlediğiniz sonucun olasılığını hesaplamak suretiyle hesaplanır - eşit veya daha düşük olasılıkın diğer tüm olası sonuçları ile birlikte toplanır.

Şimdi, "ne kadar nadir" derken, "diğer tüm olası sonuçlara kıyasla elde edilen sonucu gözlemleme olasılığının ne kadar düşük olduğunu" kastettiğimizi yinelemekten kaçınıyor. Eh, gözlemlediğimiz spesifik sonucun olasılığı 0.0679 * 0.0793 = 0.005115. Şimdi belirli bir alternatif sonucu düşünün: kesinlikle A oyuncunun 20 oyunundan 7'sini kazanması ve B oyuncunun 25 oyununun 13'ünü kazanması kesinlikle mümkün. Bu sonucun olasılığı 0.004959'dur. Bunun gözlemlenen sonuç olasılığımızdan daha düşük olduğunu, bu nedenle p değerine dahil edilmesi gerektiğini unutmayın. Ancak bir kez daha bakın: oranlardaki farkın, gözlenen sonucumuzdaki oranlardaki farklılığı aşıp aşmadığına bağlı olarak toplamınıza hangi sonuçların dahil edileceğine karar verirseniz, bu olasılık hariç tutulur! Niye ya? Çünkü bu spesifik sonuç için oranlardaki fark, gözlemlenen sonuç için orandaki farktan daha az. Ancak bu uygun bir odak noktası değil - bu özel sonucun olasılığı ve gözlemlediğimiz sonucun olasılığına eşit ya da ondan daha az olmasıyla ilgilenmeliyiz!

Bunun iyi bir resmi açıklaması burada bulunabilir:

http://data.princeton.edu/wws509/notes/c5.pdf

Lütfen özellikle sayfa 9'daki ifadeye dikkat edin, "Satır boşluğu sabitse ve örnekleme şeması binom ise, ürün binom modelini kullanmalıyız, çünkü iki değişken için eklem dağılımını daha fazla bilgi olmadan tahmin edemeyiz."