Oranlar bağlamında çoklu karşılaştırma probleminden kaçınmak için permütasyon testlerini kullanabilir miyim?

Belirli bir ikili sonucu tahmin etmek için 5 farklı yöntemin etkinliğini değerlendiriyorum (bunlara 'Başarı' ve 'Hata' deyin). Veriler şöyle görünür:

Method    Sample_Size    Success    Percent_Success
1         28             4          0.14  
2         19             4          0.21  
3         24             7          0.29  
4         21             13         0.61  
5         22             9          0.40 

Yöntemlerin göreceli üstünlüğünü değerlendirmek için bu 5 yöntem arasında bir test yapmak istiyorum. Başka bir deyişle, yöntemleri yöntem 1> yöntem 2> ... yöntem 5 olarak performans sırasına göre sipariş etmek istiyorum. Birden çok karşılaştırma sorununu önlemek için, aşağıdaki satırlarda bir permütasyon testi yapmayı planlıyorum:

Adım 1: Tüm verileri toplam 37 boyutta toplam örnek büyüklüğü 114 olacak şekilde toplayın.

Adım 2: Verileri 28, 19, 24, 21 ve 22 karşılık gelen örnek boyutlarıyla rastgele 5 gruba ayırın.

Adım 3: Adım 2'den gözlenen Percent_Success sırası verilerimin sıralamasıyla tutarlıysa bir sayacı artırın.

Adım 4: Adım 2 ve 3'ü birçok kez tekrarlayın (diyelim 10000).

İstenen p değeri = Nihai Sayaç Değeri / 10000.

Sorular:

1. Yukarıdaki prosedür tamam mı?

2. R'de yukarıdaki testi yapmamı sağlayacak bir şey var mı?

3. İyileştirme veya alternatif yöntemler için herhangi bir öneri yardımcı olacaktır.

Önerilen prosedür sorunuza cevap vermiyor. Yalnızca, sıfır hipotezi altında, gözlemlediğiniz sıralamanın gerçekleşeceği sıklığı tahmin eder. Ama bu sıfırın altında, iyi bir yaklaşımla, tüm siparişler eşit derecede olasıdır, bu nedenle hesaplamanız 1/5'e yakın bir değer üretecektir! = yaklaşık% 0.83. Bu bize hiçbir şey söylemiyor.

Daha açık bir gözlem: verilerinize dayalı sipariş 4> 5> 3> 2> 1'dir. Göreceli üstünlüklerine ilişkin tahminleriniz 0,61 - 0,40 =% 21, 0,40 - 0,21 =% 11 vb.

Şimdi, sorunuzun oranındaki farklılıklardan herhangi birinin, hiçbir farkın sıfır hipotezinde şansa bağlı olabilme derecesi ile ilgili olduğunu varsayalım . Bu on soruyu bir permütasyon testi ile değerlendirebilirsiniz. Bununla birlikte, her bir yinelemede, toplam siparişin küresel bir göstergesini değil, nispi farkın on göstergesini izlemeniz gerekir.${5 \choose 2} = 10$

Verileriniz için 100.000 yinelemeli bir simülasyon sonuçları verir

Yöntem 4 ile yöntem 1, 2 ve 3 arasındaki oran farklılıklarının şansa bağlı olması muhtemel değildir (tahmini olasılıklar sırasıyla% 0.03,% 0.37,% 0.88) ve diğer farklar olabilir. Yöntem 1 ve 5 arasında bir fark olduğuna dair bazı kanıtlar (p =% 2.44) vardır. Böylece, 4> 3, 4> 2 ve 4> 1 ilişkilerindeki oranlardaki farklılıkların hepsinin olumlu olduğuna güvenebilirsiniz. ve büyük olasılıkla 5> 1'deki fark da öyle.

Önerilen Monte-Carlo permütasyon test prosedürünüz, sıfır olasılık hipotezinin test edilmesi için, başarı olasılığının tüm yöntemler için aynı olduğu konusunda bir p değeri üretecektir. Ancak , karşılık gelen kesin permütasyon testi mükemmel şekilde mümkün olduğunda burada Monte Carlo permütasyon testi yapmak için çok az neden vardır . Bu Fisher kesin testi (bazı insanlar bu adı 2x2 tablolar için ayırır, bu durumda koşullu kesin testtir). Verilerinizi Stata ve -tabi'ye yazdım, kesin olarak p = .0067 verdim (karşılaştırma için Pearson ki-kare testi p = .0059 verir). Eminim R'de R gurusunun yakında ekleyeceği eşdeğer bir işlev vardır.

Eğer gerçekten sıralamaya bakmak istiyorsanız, her yöntemin gerçekten en iyi, ikinci en iyi, üçüncü en iyi olma olasılığı olarak basit bir yorum verebileceğinden, en iyi Bayesci bir yaklaşım kullanabilirsiniz. Bu elbette olasılıklarınıza öncelik vermenizi gerektirme bedeli. Rütbelerin maksimum olabilirlik tahmini basitçe gözlenen sıralamadır, ancak farkında olduğum kadarıyla, sıkça yapılan bir çerçevedeki sıralamadaki belirsizliği ölçmek zordur.

Birden fazla karşılaştırmadan bahsetmediğimin farkındayım, ama bunun nasıl geldiğini görmüyorum.