vs -test

Çok saygın (popüler) bir bilim dergisinde (Alman Başbakanı, 02/2013, s.36) ilginç bir deney hakkında (ne yazık ki kaynaksız) okudum. Dikkatimi çekti çünkü sezgisel olarak sonucun öneminden şüphe ettim, ancak sağlanan bilgiler istatistiksel testi çoğaltmak için yeterliydi.

Araştırmacılar soğuk havada soğuk almanın soğuk algınlığı olasılığını artırıp artırmadığını merak ettiler. Böylece 180 kişilik bir öğrenciyi rastgele iki gruba ayırdılar. Bir grup 20 dakika boyunca ayaklarını soğuk suya tutmak zorunda kaldı. Diğeri ayakkabılarını açık tuttu. Sanırım komik bir manipülasyon, ama öte yandan ben bir doktor değilim ve belki de doktorlar komik düşünüyor. Etik konular bir yana.

Her neyse, 5 gün sonra, tedavi grubundaki 13 öğrencinin soğuk algınlığı vardı, ancak sadece 5'i ayakkabılarını korudu. Bu deneyin olasılık oranı 2.87'dir.

Oldukça küçük örnek büyüklüğü göz önüne alındığında, bu farkın önemli olup olmadığını merak etmeye başladım. Bu yüzden iki test yaptım.

İlk olarak, normal yaklaşımı kullanarak oranların eşitliğinin basit bir testi. Bu test vardır $z=1.988$ ile $p=0.0468$ . Tahminimce araştırmacılar bunu test etti. Bu gerçekten önemlidir. Ancak bu z-testi, normal yaklaşımdan dolayı sadece yanılmıyorsam büyük örneklerde geçerlidir. Ayrıca, yaygınlık oranları oldukça düşüktür ve bunun etkinin güven aralığının kapsama oranını etkilemediğini merak ediyorum.

İkinci denemem, hem Monte-Carlo simülasyonu hem de standart Pearson Chi-kare ile ki-kare bağımsızlık testi oldu. Burada ilgili p değerlerini $p=.082$ .

Şimdi hepsi sonuçlarla ilgili güven verici değil. Bu verileri test etmek için daha fazla seçenek olup olmadığını ve iki test hakkındaki düşüncelerinizin neler olduğunu merak ettim (özellikle ilk, önemli, testin varsayımları)

Ben kullanmak istiyorum permütasyon testi yerine Normal yakınlaştırılması veya ki-kareye ya. Permütasyon testi verilere bağlı olarak kesin ve en güçlüdür.

Bu durumda, grupların tüm permütasyonlarını hesaplayamayız, ancak verilerin çok sayıda rastgele permütasyonu üretebilir ve oldukça hassas bir değer elde edebiliriz:

group <- c(rep("A",90),rep("B",90))
n_a <- rep(0,100000)
for (i in 1:length(n_a)) {
   temp <- sample(group, size=18)
   n_a[i] <- sum(temp == "A")
}
> mean(n_a >= 13)
[1] 0.03904

bu p değeri 0.039 olarak gösterir.

ANCAK, ve bu büyük bir şey, ancak soğuk algınlığı olan kişilerin bağımsız olaylar olduğu varsayımının ihlal edildiğini tahmin ediyorum. Bu bireyler, muhtemelen aynı okulda öğrencilerdir. İkisinin bir sınıfı, bir yurt veya başka bir etkinliği ya da bir kafeteryayı (birden fazla kafeterya bulunan bir okulda) paylaştığını düşünün; "# 1 üşütür" ve "# 2 üşürür" olayları bağımsız değildir. Bir öğrencinin "bu deney için kaydolalım!" oda arkadaşına veya arkadaşlarına; Öğrencilerin profesörlerin öğrettiği sınıflardan işe alındığını hayal edebiliyordum; Bağımsızlık varsayımının ihlal edildiğinin birçok yolunu hayal edebiliyorum. Belki de okumadığım yazı bunlardan bazılarına hitap ediyor, ancak hepsine nasıl hitap edebileceğini görmek zor,

$z$$\chi^2$

$\boldsymbol z$ -test:

Her ikisi de varsayılan örnekleme dağılımının doğru olup olmadığı konusunda , testinin kullanılmasının uygunluğu konusunda iki endişe vardır . Birincisi, -test dağılımı yerine normal dağılımı kullanır , bu da standart sapmaların örnekleme hatası olmadan bilindiğini gösterir. İkincisi, örnekleme dağılımı süreklidir, ancak veriler ayrıktır; sadece belirli veri kombinasyonları mümkün olduğundan, sadece elde edilen belirli test istatistik değerleri mümkündür, bu da teorik örnekleme dağılımına uymayabilir. (Bu sorunu burada diğer testler bağlamında tartışıyorum: Karşılaştırma ve zıtlıklar, p değerleri, anlamlılık düzeyleri ve tip I hatası .) $z$$z$$t$

İlk endişeyi farklı bir bağlamda ele alalım. Normal olarak dağıtılmış veriye sahip iki grubunuz varsa ve araçların eşdeğer olup olmadığını görmek istiyorsanız, hem araçları hem de standart sapmaları hesaplamanız gerekir. Şimdi, araçların örnekleme hatasına tabi olduğunu biliyoruz, bu yüzden bu iki örnek aracının aynı olmadığını söylemek yerine testi yapmamız gerekiyor. Bununla birlikte, standart sapma tahminlerimizin de örnekleme hatasına tabi tutulması ve bu gerçeği bir şekilde hesaba katmamız gerekiyor. Bunu yaptığımızda, test istatistiği (bir tür ölçeklendirilmiş ortalama fark) olarak dağıtılır . Bunun yerine normal dağılımı kullansaydık (yani$t$$z$-test), bu standart sapma tahminlerimizin hatasız olduğunu varsaydığımız anlamına gelir. Öyleyse -test neden sizin durumunuzda kullanılabilir? Bunun nedeni, verilerinizin normal yerine binom (yani, bilinen toplam 'deneme' toplamından 'başarı' sayısı) olmasıdır. Gelen binom dağılımı , standart sapma Eğer ortalama yaklaşık endişe zorunda hiçbir ek belirsizlik olduğu tahmin var bu yüzden bir kez, ortalama değerin bir fonksiyonudur. Böylece, normal dağılım, test istatistiğinin örnekleme dağılımının bir modeli olarak kullanılabilir. $z$

Test istatistiğinin uzun dönem davranışını anlamak için normal dağılımı kullanmak teknik olarak doğru olsa da, başka bir sorun ortaya çıkar. Sorun normal dağılımın sürekli olmasıdır, ancak verileriniz ayrık olduğundan, teorik dağılımdaki tüm değerler veri kümenizde bulunmayabilir. (Yine, yukarıda bağlantılı yanıtında önemli ölçüde daha ayrıntılı olarak bu konuyu görüşmek.) Neyse ki, verilerinizin olası sonuçlar ve teorik Normal örnekleme dağılımının arasındaki maç daha iyi büyüdükçe . Sizin durumunuzda, asıl altta yatan olasılıklar ne olursa olsun, her grupta tüm başarılar kadar az veya hiç yok olabilir. Bu, olası kombinasyonların sayısının olduğu anlamına gelir$N$$91\times 91 = 1,\!729$ki bu bir çok olasılık. Küçük bir veri kümesi ile, bağlantılı cevabımda tartıştığım bazı problemlerle karşılaşabilirsiniz, ancak ile endişelenecek çok fazla şeyiniz yok. testinin araştırmacılar için geçerli bir seçim olduğuna inanıyorum . $N = 180$$z$

$\boldsymbol \chi^2$ 2test:

Peki ya 2test? Bence bu da geçerli bir seçim, ama benim ilk seçimim olmayacak. (Yukarıda tartışılan ikinci kaygının - ayrık veriler ve sürekli referans dağılımı arasındaki uyumsuzluk - testine olduğu kadar testi için de geçerli olduğunu belirtmek isterim, bu yüzden burada avantaj yok.) ile ilgili sorun$\chi^2$$\chi^2$$z$$\chi^2$-test, satır toplamlarına göre sütun toplamları hakkında özel bir şey olmadığını varsaymaz; her ikisi de diğer olası değerlermiş gibi ele alınır. Ancak, bu deney düzeneğini doğru bir şekilde yansıtmaz. 180 kişi vardı ve her gruba 90 kişi atandı. Tekrarlanan özdeş çalışmalarda gerçekten farklılık gösterecek tek şey, her grupta üşüten insanların sayısıdır. -test yanlış davranır soğuk algınlığı sayısı ve değişebilir gibi her gruptaki hastaların sayısı, ancak her iki doğru varsayımına dayanır testinde gösterilebilir. testinin burada daha fazla gücü olmasının nedeni budur . $\chi^2$$z$$z$

Değer için, @jbowman tarafından önerilen permütasyon testi de tasarımınızın bu yönünü doğru bir şekilde alır ve sürekli sürekli uyumsuzluk sorunundan muzdarip değildir. Bu nedenle, en iyi seçenektir. Ancak, - ve testlerinin durumunuzda nasıl karşılaştırıldığı hakkında biraz daha fazla bilgi edinmek isteyebileceğinizi düşündüm . $z$$\chi^2$