Bonferroni ayarı her zaman ailelere yönelik hata oranının güçlü bir şekilde kontrol edilmesini sağlayacaktır. Bunun anlamı, testlerin niteliği ve sayısı veya aralarındaki ilişkiler ne olursa olsun, varsayımları karşılanırsa, tüm testler arasında hatalı bir sonuç bile almanın olasılığını en fazla α , orijinal hata seviyenizde olmasını sağlayacaktır. . Bu nedenle her zaman kullanılabilir .
Kullanmanın uygun olup olmadığı (başka bir yöntemin aksine veya belki de hiç ayarlanmayan), hedeflerinize, disiplininizin standartlarına ve kendi durumunuz için daha iyi yöntemlerin mevcudiyetine bağlıdır. En azından, muhtemelen genel ama daha az muhafazakar olan Holm-Bonferroni yöntemini düşünmelisiniz.
Örneğinizle ilgili olarak, birkaç test yaptığınız için , aile bazında hata oranını arttırıyorsunuz (en az bir boş hipotezi hatalı bir şekilde reddetme olasılığı). Her iki yarıda sadece bir test yaparsanız, Hommel'in yöntem veya yanlış keşif oranını kontrol eden yöntemler (aile-bilge hata oranından farklı olan) dahil olmak üzere birçok ayar yapmak mümkün olacaktır. Tüm veri seti ve ardından birkaç alt test üzerinden bir test yaparsanız, testler artık bağımsız değildir, bu nedenle bazı yöntemler artık uygun değildir. Daha önce de söylediğim gibi, Bonferroni her zaman kullanılabilir durumda ve reklamı yapıldığı gibi çalışabileceğini garanti ediyor (aynı zamanda çok muhafazakar olması da…).
Ayrıca tüm sorunu görmezden gelebilirsiniz. Resmen, aile düzeyinde hata oranı daha yüksektir, ancak sadece iki test ile hala çok kötü değil. Ayrıca, ana sonuç olarak kabul edilen tüm veri seti üzerinde bir test ile başlayabilir, ardından ikincil sonuçlar veya yardımcı hipotezler olarak anlaşıldığı için düzeltilmemiş farklı gruplar için alt testler yapılabilir.
Birçok demografik değişkeni bu şekilde düşünürseniz (sadece başından itibaren cinsiyet farklarını veya belki de daha sistematik bir modelleme yaklaşımını test etmeyi planlamanın tersine), “veri tarama” riskiyle bir sorun daha ciddi hale gelir (bir fark) önyükleme yapmak için demografik değişkenle ilgili güzel bir hikaye ile sonuçsuz bir deneyi kurtarmanıza izin verirken, aslında gerçekte hiçbir şey olmadığında, tesadüfen ortaya çıkar. Mantık, X farklı hipotez ile aynı kalmaktadır (X hipotezini iki kez test etmek - veri setinin her iki yarısında bir tane olmak üzere - X hipotezlerini yalnızca bir kez test etmekten daha yüksek bir aileye özgü hata oranı gerektirir ve muhtemelen bunun için ayarlama yapmalısınız).