Anlamlılık testi, Fisher'ın geliştirdiği ve hipotez testi, Neyman ve Pearson'un önem testinin yerini almak için tasarladığı şeydir. Aynı değildirler ve çoğu boş hipotez testi kullanıcısını şaşırtacak ölçüde karşılıklı olarak uyumsuzdurlar.
Balıkçının anlamlılık testleri, gözlemlerin sıfır hipotezi altında ne kadar aşırı olduğunu temsil eden bir p değeri verir. Bu p değeri, sıfır hipotezine ve anlamlılık düzeyine karşı bir kanıt indeksidir.
Neyman ve Pearson hipotez testleri hem sıfır hipotezi hem de alternatif bir hipotez oluşturmuş ve sıfır hipotezini kabul etmek için karar kuralı olarak çalışmıştır. Kısaca (burada koyabileceğimden daha fazlası var) kabul edilebilir bir yanlış pozitif çıkarım oranı, alfa (genellikle 0.05) seçersiniz ve p değerinin alfa'nın üstünde veya altında olmasına göre null değerini kabul eder veya reddedersiniz. Yanlış pozitif hatalara karşı korunmak istiyorsanız, istatistiksel testin kararına uymalısınız.
Fisher'in yaklaşımı, sonucu yorumlarken istediğiniz her şeyi dikkate almanıza olanak tanır, örneğin, sonucun yorumlanması ve sunumunda önceden var olan kanıtlar gayri resmi olarak dikkate alınabilir. NP yaklaşımında sadece deneysel tasarım aşamasında yapılabilir ve nadiren yapılır gibi görünüyor. Bence Fisherian yaklaşımı temel biyobilimsel çalışmada NP yaklaşımından daha kullanışlıdır.
Anlamlılık testi ile hipotez testi arasındaki tutarsızlıklar ve bu ikisinin talihsiz hibridizasyonu hakkında önemli bir literatür vardır. Bu yazı ile başlayabilirsiniz: Goodman, Kanıta dayalı tıbbi istatistiklere doğru. 1: P değeri yanılgısı.
http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371