Bonferroni ayarlarında yanlış olan ne?

Aşağıdaki makaleyi okudum: Perneger (1998) Bonferroni ayarlarında yanlış olan ne ?

Yazar Bonferroni düzeltmesinin en iyi ihtimalle biyomedikal araştırmalarda sınırlı uygulamalara sahip olduğunu ve belirli hipotezlerle ilgili kanıtların değerlendirilmesinde kullanılmaması gerektiğini söyleyerek özetledi:

Özet noktaları:

• Çalışma verilerinde yapılan testlerin sayısının istatistiksel olarak anlamlı hale getirilmesi - Bonferroni yöntemi - çözdüğünden daha fazla sorun yaratıyor
• Bonferroni yöntemi, genel boş hipotezi ile ilgilidir (tüm boş hipotezlerin aynı anda doğrudur);
• Temel zayıflık, bir bulgunun yorumunun, yapılan diğer test sayısına bağlı olmasıdır.
• II. Tür hataların olasılığı da artar, böylece gerçekten önemli farklılıklar önemsiz sayılır.
• Hangi anlamlılık testlerinin yapıldığını ve nedeninin genellikle çoklu karşılaştırmalarla uğraşmanın en iyi yolu olduğunu açıklamak

Aşağıdaki veri setine sahibim ve birden fazla test düzeltmesi yapmak istiyorum, ancak bu durumda en iyi yönteme karar veremiyorum.

Araçların listesini içeren tüm veri kümeleri için bu tür bir düzeltmenin yapılması zorunlu olup olmadığını bilmek istiyorum ve bu durumda düzeltme için en iyi yöntem hangisidir?

Bonferroni düzeltmesinde yanlış olan, başkaları tarafından belirtilen muhafazakârlığın yanı sıra, bütün çokluk düzeltmelerinde yanlış olan şeydir. Temel istatistiksel ilkelerden gelmezler ve keyfidirler; frekans dünyasında çokluk sorununa benzersiz bir çözüm yoktur. İkincisi, çokluk düzeltmeleri, bir ifadenin doğruluğunun diğer hipotezlerin hangi eğriye dayandığına bağlı olduğu felsefesine dayanır. Bu, ilgili parametre için önceki dağılımın diğer parametreler dikkate alındığında daha tutucu olmaya devam ettiği bir Bayesian kurulumuna eşdeğerdir. Bu tutarlı görünmüyor. Bir kişi bu yaklaşımın yanlış pozitif deneyler tarihi tarafından "yakılmış" araştırmacılardan geldiğini ve şimdi onların yanlışlarını telafi etmek istediklerini söyleyebilir.

Biraz genişletmek için aşağıdaki durumu göz önünde bulundurun. Bir onkoloji araştırmacısı, belirli bir sınıfın kemoterapilerinin etkinliğini çalışma konusunda kariyer yapmıştır. Onun randomize çalışmalarının önceki 20 tanesi istatistiksel olarak anlamsız etkinlikle sonuçlanmıştır. Şimdi aynı sınıfta yeni bir kemoterapi test ediyor. Hayatta kalma yardımı $P=0.04$. Bir meslektaş, çalışılan ikinci bir son nokta olduğunu (tümörün küçülmesi) ve önemsiz bir sağkalım yararı sağlayarak, çokluk ayarının sağkalım sonucuna uygulanması gerektiğini belirtir. Meslektaşım ikinci son noktayı vurguladı, ancak etkili bir ilaç bulmak için önceki 20 başarısız girişimin ayarlanması konusunda daha az umursayamaz mıydı? Ve eğer Bayesian olmasaydınız, önceki 20 çalışma hakkında önceki bilgileri nasıl hesaba katardınız? Ya ikinci bir bitiş noktası olmasaydı. Meslektaşım, önceki tüm bilgileri göz ardı ederek hayatta kalma parasının gösterildiğine inanır mıydı?

Bonferroni düzenlemesinin en iyi ihtimalle biyomedikal araştırmalarda sınırlı uygulamaları olduğunu ve belirli hipotezlerle ilgili kanıtları değerlendirirken kullanılmaması gerektiğini söyledi.

Bonferroni düzeltmesi en basit ve en konservatif çoklu karşılaştırma tekniğinden biridir. Aynı zamanda en eskilerinden biridir ve zamanla büyük ölçüde iyileştirilmiştir. Bonferroni düzeltmelerinin hemen hemen her durumda sınırlı bir uygulamaya sahip olduğunu söylemek doğru olur. Neredeyse kesinlikle daha iyi bir yaklaşım var. Başka bir deyişle, çoklu karşılaştırmalar için düzeltmeniz gerekecek, ancak daha az muhafazakar ve daha güçlü bir yöntem seçebilirsiniz.

Az muhafazakar

Birden fazla karşılaştırma yöntemi, test ailesinde en az bir yanlış pozitif almaya karşı koruma sağlar. seviyesinde bir test yaparsanız,% 5 oranında yanlış pozitif alma şansınız olur. Başka bir deyişle, boş hipotezinizi yanlış reddedersiniz. Α = 0.05 seviyesinde 10 test yaparsanız, bu 1 - ( 1 - 0.05 ) 'e yükselir. 10 = ~% 40 yanlış pozitif alma şansı$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

Bonferroni yöntemiyle , n testi ailesini α düzeyinde korumak için ölçeğin en altındaki bir kullanın (yani α b = α / n ) . Başka bir deyişle, en muhafazakar. Artık, Bonferroni tarafından ayarlanan alt sınırın üzerinde α b'yi artırabilir (ör. Testinizi daha az muhafazakar hale getirebilir) ve testlerinizi a seviyesinde koruyabilirsiniz . Bunu yapmanın birçok yolu vardır, örneğin Holm-Bonferroni yöntemi ya da daha iyisi$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

Daha güçlü

Başvurulan makalede ortaya çıkan iyi bir nokta, II tipi hataların olasılığının, gerçekten önemli farkların önemsiz sayılması için de arttırılmasıdır.

Bu çok önemli. Güçlü bir test, varsa önemli sonuçları bulan testtir. Bonferroni düzeltmesini kullanarak daha az güçlü bir test yapmış olursunuz. Bonferroni'nin muhafazakar olması nedeniyle, gücün önemli ölçüde azaltılması muhtemel. Yine, örneğin Alternatif Bulma Oranı gibi alternatif yöntemlerden biri testin gücünü artıracaktır. Başka bir deyişle, yalnızca yanlış pozitiflere karşı koruma sağlamakla kalmaz, aynı zamanda gerçekten önemli sonuçlar bulma yeteneğinizi de geliştirirsiniz.

Bu nedenle, evet, çoklu karşılaştırmalarınız olduğunda bazı düzeltme tekniklerini uygulamanız gerekir. Ve evet, Bonferroni'den daha az muhafazakar ve daha güçlü bir yöntem lehine kaçınılmalıdır.

Thomas Perneger istatistikçi değil ve makalesi hatalarla dolu. O yüzden ciddiye almazdım. Aslında başkaları tarafından ağır eleştirildi. Örneğin, Aickin, Perneger'in makalesinin “neredeyse tamamen hatalardan oluştuğunu” söyledi: Aickin, “Birden fazla testin ayarlanması için başka bir yöntem var”, BMJ. 1999 9 Ocak; 318 (7176): 127.

Ayrıca, orijinal sorudaki p değerlerinin hiçbiri, çokluk ayarlaması olmasa bile, <<0,05'tir. Bu yüzden muhtemelen (eğer varsa) hangi ayarın kullanıldığı önemli değildir.

Belki de Bonferroni’ninki gibi çeşitli test düzeltmelerini “behind ardındaki gerekçeyi” açıklamak iyidir. Eğer bu açıksa, uygulamanız gerekip gerekmediğini kendiniz yargılayabileceksiniz.

$\mu$$H_0: \mu=0$

Öyleyse göstermek $H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

Örnek bir dağılımdan rastgele bir çizim olduğundan, sadece '' örnekle kötü şans '' ile düşük bir olasılık elde etmiş olabiliriz ve sonra H 0'ı reddederiz.$H_0$$H_0$$H_1$

Yanlış kanıt bilimde kötü bir şey çünkü dünya hakkında gerçek bilgiler edindiğimize inanıyoruz, ancak aslında örneklemde kötü şanslar yaşadık. Dolayısıyla bu tür hatalar kontrol edilmelidir. Bu nedenle, kişi bu tür bir kanıtın olasılığı üzerine bir üst sınır koymalı veya biri de tip I hatasını kontrol etmelidir. Bu, önceden kabul edilebilir bir önem seviyesini sabitleyerek yapılır.

Biz bizim anlamlılık düzeyini saptamak Yani eğer daha sonra biz reddetmeye hazır olduklarını söylediğini H 0 o ihtimali (çünkü örnek ile kötü şans) doğru olduğunda 5 % . Gibi (yukarıda bakın) H 0 reddetme$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

Buradaki önemli gerçek, iki testin bir ve sampe örneğine dayanmasıdır!

Bağımsızlığı kabul ettiğimize dikkat edin. Bağımsızlığı üstlenemezseniz, Bonferroni eşitsizliğini $ kullanarak $ I türünün 0,1'e kadar şişebileceğini gösterebilirsiniz.

Bonferroni'nin muhafazakar olduğuna ve Holm'un adım adım prosedürünün Bonferroni ile aynı varsayımlara uyduğunu unutmayın, ancak Holm'un prosedürünün daha fazla güce sahip olduğunu unutmayın.

Değişkenler ayrık olduğunda, minimum p-değerini temel alan test istatistiklerini kullanmak daha iyidir ve çok sayıda test yaparken tip I hata kontrolünden vazgeçmeye hazırsanız, False Discovery işlemi daha güçlü olabilir.

DÜZENLE :

Eğer öyleyse (@Frank Harrell tarafından yazılan cevaba bakınız.)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$ e karşı $H_1^{(1)}$ % 2.5 seviyesinde ve ayrıca $H_0^{(2)}$ e karşı $H_1^{(2)}$ % 2.5 seviyesinde.

Bonferroni düzeltmesi ve etki büyüklüğünün güzel bir tartışması http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Ayrıca, Dunn-Sidak düzeltmesi ve Fisher'in birleşik olasılıklar yaklaşımı alternatif olarak düşünülmeye değer. Bu yaklaşımdan bağımsız olarak, hem düzeltilmiş hem de ham p-değerleri artı efekt büyüklüğünü bildirmeye değer, böylece okuyucu bunları yorumlama özgürlüğüne sahip olabilir.

Birincisi, son derece muhafazakar. Holm-Bonferroni metodu, Bonferonni metodunun başardığı (Family Wise Error Rate'i kontrol eder) ve aynı şekilde daha kuvvetli bir şekilde başarır.

One should look at the "False Discovery Rate" methods as a less conservative alternative to Bonferroni. See

John D. Storey, "THE POSITIVE FALSE DISCOVERY RATE: A BAYESIAN INTERPRETATION AND THE q-VALUE," The Annals of Statistics 2003, Vol. 31, No. 6, 2013–2035.