Test istatistiği, belirli bir varsayım altında olasılık dağılımını izleyen, gözlemlediğiniz verilere özgü bir gözlemdir. Bu varsayım genellikle'H0.
Örneğin, örneğinizde test istatistiği (t istatistiği denir) gözlemlenen verilere (x¯ ve s her ikisi de verilerden türetilmiştir).
Ortalamanızın olduğu varsayımı altında μ0, hesapladığınız istatistik belirli bir dağılımı izleyecektir. İstatistiğin bu değerinin meydana gelme olasılığı daha sonra varsayım altında belirlenir. Bu değerin düşük olduğu varsayılırsa,'H0) reddedildi.
Eğer reddedersek 'H0varsayım, bu, yaptığımız varsayımın yanlış olduğu garantisini verdiği anlamına gelmez. Bu doğruysa ve test istatistiğinin düşük olasılığı nedeniyle reddedildiysek'H0, buna I tipi hata diyoruz .
Öte yandan, varsayımı kabul edersek, bu kesin varsayımımızın doğru olduğu anlamına gelmez. Varsayım yanlışsa ve yanlış varsayımımız altında yeterince yüksek olasılığı olduğu için kabul ettiysek, buna tip II hatası denir .
İstatistik belirli bir değerdir ve yalnızca belirli bir olasılık dağılımını izlediğini varsayabileceğimiz belirli varsayımları kabul edersek olur.
Bu ilke, yalnızca burada bahsettiğiniz t istatistiği için değil, tüm test istatistiklerini içerir.