Sidak veya Bonferroni?

13

16 farklı bitki türü üzerindeki ortalama tırtıl sayısı (normal olmayan, Tweedie dağılımı kullanarak) farklılıklarına bakmak için SPSS'de genelleştirilmiş doğrusal bir model kullanıyorum.

Birden fazla karşılaştırma yapmak istiyorum ancak bir Sidak veya Bonferroni düzeltme testi kullanmam gerekip gerekmediğinden emin değilim. İki test arasındaki fark nedir? Biri diğerinden daha iyi mi?

multiple-comparisons post-hoc bonferroni

— Emily
kaynak

1

Bu tür düzeltmelerin standart frekans hipotezi testleriyle sıklıkla ihtiyaç duyulmasından nefret ediyorum ve Bayes tekniklerini çok tercih ediyorum. Bununla birlikte, daha az geçici göründüğü için (bağımsızlık varsayımını kabul etmek istiyorsanız) Sidak düzeltmesinden daha az nefret ediyorum. Bu çoğunlukla sadece kişisel tercihi olsa da bir cevap yerine bir yorum yaptım.

— Michael McGowan

1

@MichaelMcGowan: Sadece merak ediyorum, ama bir Bonferroni düzeltmesi hakkında " ad hoc " neyi düşünüyorsunuz ?

— kardinal

@cardinal Üzgünüm, bu muhtemelen en iyi kelime seçimi değildi. Daha güçlü varsayımlara ihtiyaç duymanın pahasına (bu maliyeti önemsizleştirmek istemiyorum), Sidak düzeltmesi daha nitel bir anlamla bir bağ yaratır. Boole eşitsizliğine göre bir çeşit en kötü durum dışında, Bonferroni düzeltmesinde sınırın neyi temsil ettiğini gerçekten niteliksel olarak açıklayamam.

— Michael McGowan

@MichaelMcGowan: Ah, tamam. Anlıyorum. Sanırım Bonferroni hakkında söylenebilecek birkaç nitel şey var: (a) Sıfırın altındaki tek tek test istatistikleri arasındaki bağımlılığa bakılmaksızın ailevi hata oranına karşı garantili koruma sağlar ve (b) Tam olarak doğru düzeltme Bireysel hipotez testlerinin reddedilme bölgeleri çift olarak ayrıldığında.

— kardinal

1

Bir test için tip I hatasının olasılığı, diğer testin testi ile ilişkili ise iki test bağımsız değildir. Örneğin, bir kontrol koşulu ve iki test koşulu ile bir deneme yaptığınızı varsayalım. Her test koşulunu kontrol koşuluyla karşılaştıran iki test bağımsız değildir. Bunu, şans eseri kontrol koşulu için aşırı bir değer elde ederseniz ne olacağını düşünerek görebilirsiniz. Bu, her iki testin de istatistiksel olarak anlamlı olma olasılığını artıracaktır.

20

Eğer çalıştırırsanız bağımsız istatistik kullanılarak testler sizin anlamlılık seviyesi olarak ve null edinir her sen 'önemini' bulacaksınız olsun veya olmasın, dava sadece rastgele değişken bir beraberlik. Özellikle, ve ile bir binom dağılımından alınır . Örneğin, ve (sizden habersiz) kullanarak 3 test çalıştırmayı planlıyorsanız , aslında her durumda bir fark yoktur, o zaman her testte% 5 önemli bir sonuç bulma şansı vardır. Bu şekilde tip I hata oranı olarak tutulur $k$ $\alpha$ $p=\alpha$ $n=k$ $\alpha=.05$ $\alpha$ testler için ayrı ayrı, ancak 3 test seti boyunca uzun dönem I tipi hata oranı daha yüksek olacaktır. Bu 3 testi birlikte gruplandırmanın / düşünmenin anlamlı olduğuna inanıyorsanız, tip I hata oranını küme için tek başına değil, bir bütün olarak değerinde tutmak isteyebilirsiniz . Bunu nasıl yapmalısın? Orijinal (yani, ) yeni bir değere (yani, ) iki yaklaşım vardır : $\alpha$ $\alpha$ $\alpha_o$ $\alpha_{\rm new}$

Bonferroni: ayarlamak böyle 'önemini' değerlendirmek için kullanılan $\alpha$

α_{n e w} = \frac{α_{o}}{k}

$\alpha_{\rm new}=\frac{\alpha_{o}}{k}\qquad\qquad\quad$

Dunn-Sidak: ayarını kullanarak $\alpha$

α_{n e w} = 1 - (1 - α_{o})^{1 / k}

$\alpha_{\rm new}=1-(1-\alpha_{o})^{1/k}$

(Dunn-Sidak'ın set içindeki tüm testlerin birbirinden bağımsız olduğunu varsaydığını ve bu varsayım geçerli değilse aile tarafından tip I hata enflasyonu verebileceğini unutmayın.)

Testler sırasında, olduğu not etmek önemlidir hatalardan iki çeşit I (yani orada söyleyerek tipi, sen kaçınmak istediğiniz olduğunu orada bir değilken bir fark) ve II tipi (yani söz vardır değil gerçekte bir fark). Tipik olarak, insanlar bu konuyu tartıştıklarında, tip I hatalarını sadece tartışırlar ve sadece farkında olurlar / sadece bunlarla ilgilenirler. Buna ek olarak, insanlar genellikle hesaplanan hata oranının yalnızca tüm boş değerler geçerli olduğunda geçerli olacağını belirtmeyi ihmal ederler . Eğer sıfır hipotezi yanlışsa tip I hatası yapamayacağınız açıktır, ancak bu konuyu tartışırken bu gerçeği açıkça akılda tutmak önemlidir.

Bunu gündeme getiriyorum, çünkü bu gerçeklerin çoğu zaman dikkate alınmayan etkileri var. İlk olarak, ise, Dunn-Sidak yaklaşımı daha yüksek güç sunacaktır (fark küçük ile oldukça küçük olsa da ) ve bu yüzden her zaman (uygulanabilir olduğunda) tercih edilmelidir. İkincisi, bir 'adım azaltma' yaklaşımı kullanılmalıdır. Yani, önce en büyük etkiyi test edin; Bu durumda null değerinin elde edilmediğine ikna olduysanız, mümkün olan maksimum tip I hata sayısı , bu nedenle bir sonraki test buna göre ayarlanmalıdır. (Bu genellikle insanları rahatsız eder ve balık tutmaya benziyor, ancak değil $k>1$ $k$ $k-1$ balık avı, testler bağımsız olduğundan ve verileri görmeden önce yapmayı amaçladınız. Bu, en iyi şekilde ayarlamanın bir yoludur .) $\alpha$

Yukarıdaki, tip II hatalara göre tip I değerini nasıl değerlendirdiğinize bakılmaksızın geçerlidir. Bununla birlikte, a-priori , tip I hataların tip II'den daha kötü olduğuna inanmak için hiçbir neden yoktur (herkesin bunu varsaydığı görülmesine rağmen). Bunun yerine, bu, araştırmacı tarafından verilmesi gereken ve bu duruma özgü olması gereken bir karardır. Şahsen, teorik olarak önerilen a-priori , ortogonal kontrastları çalıştırıyorsam, genellikle . $\alpha$

(Ve bunu tekrar belirtmek gerekirse, önemli olduğu için, yukarıdakilerin tümü testlerin bağımsız olduğunu varsayar. Kontrastlar bağımsız değilse, örneğin birkaç tedavinin aynı kontrolle karşılaştırılması gibi, adjustment'dan farklı bir yaklaşım Dunnett testi gibi kullanılmalıdır.) $\alpha$

— gung - Monica'yı eski durumuna döndürün
kaynak

+1. Bonferroni için "adım adım" yaklaşımı, Holm-Bonferroni yöntemi olarak bilinen yöntemle tamamen eşdeğer midir? Evet ise, Dunn-Sidak'a uygulanan aynı mantığın adı var mı?

— amip: Reinstate Monica

1

@amoeba, evet buna bazen "Holm yöntemi" denir, dolayısıyla Holm-Bonferroni veya Holm-Sidak.

— gung - Monica'yı eski

Teşekkürler. Başka bir sorum, teorik olarak önerilen, a priori, ortogonal zıtlıklar çalıştırıyorsanız, genellikle ayarlamamanızdır . Burada "dik" ne kadar önemli? 6 konu grubunuz varsa ve grup 2, 3, 4, 5 ve 6'yı grup 1 ile karşılaştırırsanız (burada grup 1 örneğin bir kontrol grubu olabilir), o zaman bunlar dik olmayan kontrastlardır. Bu durumda ayarlama konusunda , kontrastlarınızın 1-2, 3-4, 5-6 gibi gerçekten dik olduğundan farklı mı hissediyorsunuz ? Öyleyse neden?

α

$\alpha$

α

$\alpha$

— amip, Reinstate Monica

@amoeba, 3 a-priori, ortogonal kontrastı 1 çalışmada çalıştırmak, 3 farklı çalışmanın her birinde 1 a-priori kontrastını çalıştırmaktan farklı değildir. Hiç kimse, ikincisi için ailevi düzeltmelere ihtiyaç duyduğunuzu iddia etmediğinden, bunlardan birincisi için tutarlı bir neden yoktur. Diğer örneğinizde, kontrol grubunun tek başına şans eseri daha aşağıya sıçraması gerekiyorsa, 5 kontrastınızın her biri iyi görünecektir; ancak 5 bağımsız çalışma yürüttüyseniz bunun gerçekleşmesi olası değildir. Gerçekten bir tür ayarlama yapmalısınız ya da Dunnett testini kullanabilirsiniz .

— gung - Monica'yı eski

Tam olarak anladığımı sanmıyorum. Her grupta ve olan değerleriyle hızlı bir simülasyon gerçekleştirdim . Yukarıdaki gibi üç dikey kontrast için en az bir yanlış pozitif 0.14 ve üç dikey olmayan kontrast için 0.12 şans elde ediyorum. Bu çok yakın. Fark, üç yanlış pozitifin tümünü alma şansı için çok daha büyük: 0.0001 ve 0.002. Bu yüzden, birkaç önemli sonuç elde etmenin, orb dışı olmanın çok daha muhtemel olduğunu anlıyorum. zıttır, ancak biri ailevi hata oranı ile ilgiliyse, iki durum neredeyse aynı görünmektedir.

N (0, 1)

$\mathcal N(0,1)$

n = 10

$n=10$

α = 0.05

$\alpha=0.05$

— amip diyor Reinstate Monica

6

ile düzeltilmiş önem düzeyini belirtin , ardından Bonferroni şu şekilde çalışır: Anlam düzeyini testlerin sayısına bölün, yani . Sidak şu şekilde çalışır (test bağımsız ise): . $\alpha^*$ $\alpha$ $n$ $\alpha^*=\alpha/n$ $\alpha^*=1 − (1 − \alpha)^{1/n}$

Çünkü , Sidak düzeltme biraz daha güçlüdür (yani daha kolay önemli sonuçlar elde) ama Bonferroni sapı biraz daha basittir. $\alpha/n < 1 − (1 − \alpha)^{1/n}$

Daha güçlü bir prosedüre ihtiyacınız varsa, Bonferroni-Holm prosedürünü kullanmak isteyebilirsiniz.

— Momo
kaynak

Bonferroni'nin kullanımı neden daha basittir?

— Emily

3

I bölünmesi bulmak ile hesaplanması daha cebirsel basit , ama tembelim. Ayrıca Bonferroni, daha az varsaymak anlamında "daha basit" olduğundan, uyumsuzluk kabul etmez. Ama bunun bedelini daha muhafazakar olarak ödüyorsun.

α

$\alpha$

n

$n$

1 - (1 - α)^{1 / n}

$1-(1-\alpha)^{1/n}$

— Momo

@Momo Bilgisayarlar aritmetik konusunda gerçekten çok iyi, bu yüzden basitlik argümanını çok çekici bulmuyorum. Yüz yıl önce hesaplamaların elle yapıldığı elbette çok farklı bir hikayeydi.

— Michael McGowan

Cevabımla karşılaştırıldığında +1, bu oldukça özlü ;-) noktasına geliyor.

— gung - Monica'yı eski durumuna getirin

Haha demek istediğini sanıyordum! Çok teşekkürler!

— Emily

5

Sidak düzeltmesi münferit testlerin istatistiksel olarak bağımsız olduğunu varsayar. Bonferroni düzeltmesi bunu varsaymaz.

— bir durak
kaynak

Bu, Bonferroni'nin daha muhafazakar bir test olduğu anlamına mı geliyor?

— Emily

1

Her iki test de uygun olduğunda Bonferroni daha konservatiftir. Ancak testleriniz bağımsız değilse, Sidak kullanmamalısınız.

— onestop

2

+1 Bonferroni düzeltmesinin testlerin bağımsız olmasını gerektirmediği, kapsamadığım iyi bir nokta.

— gung - Monica'yı eski durumuna getirin

@onestop: Testlerin bağımsız olması ne anlama geliyor? Belki bir örnek verebilir misiniz?

— Gunnhild

1

Sidak düzeltmesi bağımsızlık gerektirmez. Sadece testlerin olumsuz bağlı olmadığını varsayar. Olumlu bağımlılık iyidir.

— Bonferroni

4

Sidak ve Bonferroni o kadar benzer ki, hangi prosedürü kullanırsanız kullanın muhtemelen aynı sonucu elde edersiniz. Bonferroni, Sidak'tan çok az daha muhafazakar. Örneğin, 2 karşılaştırma ve .05'in aile yönünden alfa değeri için Sidak her testi .0253'te ve Bonferroni her testi .0250'de gerçekleştirir.

Bu sitedeki birçok yorumcu, Sidak'ın yalnızca karşılaştırmalarınızın test istatistikleri bağımsız olduğunda geçerli olduğunu söyledi. Bu doğru değil. Sidak, test istatistikleri NEGATİF OLARAK bağımlı olduğunda ailevi hata oranının hafifçe şişirilmesine izin verir, ancak iki taraflı testler yapıyorsanız, negatif bağımlılık genellikle endişe vermez. Negatif olmayan bağımlılık altında, Sidak aslında ailevi hata oranı üzerinde bir üst sınır sağlar. Bununla birlikte, böyle bir sınır sağlayan ve Sidak'tan daha fazla istatistiki güç tutma eğilimi gösteren başka prosedürler de vardır. Sidak muhtemelen en iyi seçenek değil.

Bonferroni prosedürünün sağladığı (Sidak'ın yapmadığı) bir şey, beklenen I Tipi hata sayısının sıkı kontrolüdür - "aile başına hata oranı" adı verilen ve ailevi hata oranından daha muhafazakar. Daha fazla bilgi için, bkz. Frane, AV (2015) "Aile başına Tip I hata oranları sosyal ve davranış bilimlerinde alakalı mı?" Modern Uygulamalı İstatistiksel Yöntemler Dergisi 14 (1), 12-23.

— Bonferroni
kaynak