Test edilecek iki genel model vardır. Bir popülasyondan rastgele örneklemenin varsayımına dayanan ilki, genellikle "popülasyon modeli" olarak adlandırılır.
Örneğin, iki bağımsız örneklem t testi için, karşılaştırmak istediğimiz iki grubun ilgili popülasyonlardan rastgele örnekler olduğunu varsayıyoruz. İki grup içindeki puanların dağılımının normalde popülasyonda dağıldığını varsayarsak, o zaman analitik olarak test istatistiğinin örnekleme dağılımını türetebiliriz (yani, t-istatistiği için). Buradaki fikir, eğer bu işlemi tekrarlarsak (rastgele ilgili iki popülasyondan iki örnek alırsak), sonsuz sayıda defa (tabii ki, bunu yapmayız) tekrarlarsak, test istatistiği için bu örnekleme dağılımını elde edeceğimizdir.
Test için alternatif bir model "randomizasyon modeli" dir. Burada rastgele örneklemeye itiraz etmek zorunda değiliz. Bunun yerine, örneklerimizin permütasyonları yoluyla rastgele bir dağılım elde ediyoruz.
Örneğin, t-testi için iki örneğiniz vardır (rastgele örneklemeyle mutlaka elde edilmez). Şimdi, eğer gerçekten bu iki grup arasında bir fark yoksa, o zaman belirli bir kişinin gerçekte 1. gruba mı yoksa 2. gruba mı ait olduğu keyfidir. Bu yüzden, yapabileceğimiz şey, her iki grubun araçlarının ne kadar uzakta olduklarına dikkat ederek her seferinde grup atamasına tekrar tekrar izin vermektir. Bu şekilde ampirik olarak bir örnekleme dağılımı elde ediyoruz. Daha sonra, iki grubun orijinal örneklerde ne kadar ayrı olduklarını karşılaştırabiliriz (grup üyeliğini değiştirmeden önce) ve eğer bu fark "aşırı" ise (yani, ampirik olarak türetilmiş örnekleme dağılımının kuyruklarına düşüyorsa), o zaman sonuçlandırırız. Bu grup üyeliği keyfi değildir ve iki grup arasında bir fark vardır.
Birçok durumda, iki yaklaşım aslında aynı sonuca yol açar. Bir şekilde, popülasyon modeline dayanan yaklaşım, randomizasyon testine bir yaklaşım olarak görülebilir. İlginçtir ki, randomizasyon modelini öneren Fisher, çıkarımlarımız için temel olmasını önerdi (çoğu örnek rastgele örnekleme yoluyla alınmadığı için).
İki yaklaşım arasındaki farkı tanımlayan güzel bir makale:
Ernst, MD (2004). Permütasyon yöntemleri: Kesin çıkarım için bir temel. İstatistiksel Bilim, 19 (4), 676-685 (bağlantı) .
İyi bir özet sağlayan ve randomizasyon yaklaşımının çıkarımımızın temeli olması gerektiğini öneren bir başka makale:
Ludbrook, J. ve Dudley, H. (1998). Biyomedikal araştırmalarda permütasyon testleri neden t ve F testlerinden daha üstündür? Amerikan İstatistiği, 52 (2), 127-132 (bağlantı) .
EDIT: Popülasyon modelindeki gibi randomizasyon yaklaşımını kullanırken aynı test istatistiğini hesaplamanın yaygın olduğunu da eklemeliyim. Bu nedenle, örneğin, iki grup arasındaki ortalamalar arasındaki farkı test etmek için, bir grup üyeliğinin olası tüm izinleri için olağan t-istatistiği hesaplanır (boş hipotez altında ampirik olarak türetilmiş örnekleme dağılımını verir) ve sonra biri ne kadar aşırı olduğunu kontrol eder. Orjinal grup üyeliği için t istatistiği bu dağılımın altındadır.