İlk olarak, bu iki çoklu test prosedürünün aynı şeyi kontrol etmediğini anlamanız gerekir. Örneğinizi kullanarak, 18.000 gözlemlenen değişkenli iki grubumuz var ve bir gruptan diğerine farklı olan bazı değişkenleri tanımlamak için 18.000 test yapıyorsunuz.
Bonferroni düzeltmesi , tüm 18.000 değişkenin iki grupta aynı dağılıma sahip olduğunu varsayarak, "burada bazı önemli farklarım var" olduğunu iddia ettiğiniz Aile Yönünde hata oranını , yani olasılığı kontrol eder . Genellikle, bu olasılık <% 5 ise, talebinizin güvenilir olduğuna karar verirsiniz.
Benjamini-Hochberg düzeltmesi Yanlış keşif oranını , yani bir farkın varlığını iddia ettiğiniz değişkenler arasında beklenen yanlış pozitif oranını kontrol eder . Örneğin,% 5'e kadar kontrol edilen FDR ile 20 test pozitifse, "ortalama olarak" bu testlerin sadece 1'i yanlış pozitif olacaktır.
Şimdi, karşılaştırma sayısı arttığında ... bu doğru olan marjinal sıfır hipotezlerinin sayısına bağlıdır. Ancak temel olarak, her iki prosedürde de, eğer birkaç tane varsa, diyelim ki 5 veya 10, gerçekten ilişkili değişkenler, bunları 100 değişken arasında tespit etmek için 1.000.000 değişkenten daha fazla şansınız var. Bu yeterince sezgisel olmalı. Bundan kaçınmanın bir yolu yok.