Literatür iki tip permütasyon testi arasında ayrım yapmaktadır: (1) randomizasyon testi, değişebilirliğin deneysel birimlerin koşullara rastgele atanmasıyla sağlandığı permütasyon testidir; (2) permütasyon testi aynı testtir ancak değişebilirliği haklı çıkarmak için başka varsayımların (yani rastgele görevlendirme dışında) gerekli olduğu bir duruma uygulanır.
Adlandırma kuralları ile ilgili bazı referanslar (yani, rasgele sıralama veya permütasyon): Kempthorne & Doerfler, Biometrika, 1969; Edgington ve Onghena, Randomizasyon Testleri, 4. Baskı, 2007
Varsayımlar için, randomizasyon testi (yani, Fisher'ın deneysel veriler için randomizasyon testi) sadece Donald Rubin’in kararlı birim tedavi değeri varsayımı (SUTVA) olarak neyi ifade ettiğini gerektirir. Rubin’in 1980’deki Basu’nun JASA’daki makalesi hakkındaki yorumuna bakınız. SUTVA, Neyman-Rubin potansiyel sonuç modeli (nedensel olarak Paul Holland'ın 1986 JASA makalesi) altında nedensel çıkarım için temel varsayımlardan biridir (güçlü cehaletle birlikte). Temel olarak, SUTVA üniteler arasında parazit olmadığını ve tedavi koşullarının tüm alıcılar için aynı olduğunu söylüyor. Daha resmi olarak, SUTVA potansiyel sonuçlar ve atama mekanizması arasında bağımsızlığı üstlenir.
Kontrol grubuna veya tedavi grubuna rastgele atanan katılımcılarla iki örnek problemi düşünün. Örneğin, iki çalışma katılımcısı tanınırsa ve birisinin görevlendirme durumu diğerinin sonucunu etkilediyse, SUTVA ihlal edilir. Birimler arasında parazit olmaması ile kastedilen budur.
Yukarıdaki tartışma katılımcıların rastgele gruplara atandığı randomizasyon testine uygulanır. Bir permütasyon testi bağlamında, SUTVA da gereklidir, fakat hiçbiri olmadığı için randomizasyona dayanmayabilir.
Rastgele tahsisin yokluğunda, permütasyon testlerinin geçerliliği, değişebilirliği sağlamak için aynı dağılım şekli veya simetrik dağılımlar (teste bağlı olarak) gibi dağıtım varsayımlarına dayanabilir (bkz. Box and Anderson, JRSSB, 1955).
İlginç bir makalede, Hayes, Psych Methods, 1996, rastgele olmayan verilerde permütasyon testleri kullanılıyorsa, Tip I hata oranlarının nasıl şişirilebileceğini simülasyon yoluyla göstermektedir.