Rastgele olmayan bir numunedeki randomizasyon hala bir etki gösterebilir ve rastgele varyasyonla makul bir şekilde açıklanmaz.
Örneğin, kabaca eşit büyüklükte, tanınmayan iki alt gruba (biraz farklı özelliklere sahip *) sahip bir nüfusumuz olduğunu düşünün, ancak örneğiniz rastgele değildir ve 80/20'lik bir bölünme sağlar. Eşit büyüklükte 2 tedavi grubu düşünelim. Rastgeleleştirme (en azından iyi örneklem büyüklüğü ile), her grupta bu 80/20 bölünmesine yakın olma eğilimi gösterecektir, böylece tedavi etkileri, heterojen grupların tedavilere eşit olmayan şekilde tahsis edilmesinden ziyade tedaviye bağlıdır.
* farklı taban çizgileri anlamına gelir
Sorun, çıkarımınızı örneğinizin temsil ettiği amaç dışında (hedef seçiciler) hedef kitleye genişletmek istediğinizde ortaya çıkar; bu, herhangi bir kanıt bulunamayacağı varsayımlarını / bir argümanı gerektirir (tedavi farklılıklarının popülasyonun tüm alt kümeleri için tutarlı olacağını söylemek gibi).
Benzer bir durum için, standart bir tedavi ve plaseboya kıyasla sadece hipertansiyon ilacını sadece erkeklerde test ettiğinizi düşünün. Erkeklerin tedavi grubuna uygun şekilde randomize edildiğini varsayın. Bir tedavi etkisi, erkeklerde bir etkiyi gerçekten tanımladığı anlamında gerçek olacaktır . Zorluk, bu çıkarımı kadınlara genişletmeye çalışırken ortaya çıkacak .
Bu nedenle , işe alımdan ayrı olarak düzgün bir şekilde yürütülür ve rasgele seçilirse , gözlenen önemli bir etki göründüğü gibi olacaktır, ancak gerçekte örneklediğiniz şey için geçerli olacaktır, istediğiniz hedefin ne olduğu zorunlu olarak değil - ikisi arasındaki boşluğu geçmek dikkatli bir tartışma gerektirir; böyle bir tartışma genellikle yoktur.
Bir öğrenciyken, bu tür deneylerin belirli saatlerce gönüllü olması beklenen psikoloji öğrencileri üzerinde psikoloji deneylerinin yapılması oldukça yaygındı (bu hala geçerli olabilir, ancak psikologlarla düzenli temasım yok artık deney yapanlar). Tedaviye randomizasyon ile çıkarımlar geçerli olabilir (ne yapıldığına bağlı olarak), ancak kendi seçtiği psikoloji lisans öğrencilerinin yerel popülasyonu için geçerli olacaktır (genellikle hangi deneylerin kaydedileceğini seçer), daha geniş nüfusun rastgele bir örneği.