Birden çok karşılaştırma “planlanmışsa”, yine de birden çok karşılaştırma için düzeltmeniz mi gerekiyor?

15'ten fazla 2x2 Chi Square testi yapan bir makaleyi inceliyorum. Birden fazla karşılaştırma için düzeltmeleri gerektiğini önerdim, ancak tüm karşılaştırmaların planlandığını söyleyerek cevap verdiler ve bu nedenle bu gerekli değil.

Bunun doğru olmaması gerektiğini, ancak durumun bu olup olmadığını açıkça belirten herhangi bir kaynak bulamadığını düşünüyorum.

Herkes bu konuda yardımcı olabilir mi?

Güncelleme:

Çok yararlı yanıtlarınız için teşekkürler. @ Gung'un çalışma ve analizler hakkında daha fazla bilgi talebine yanıt olarak, iki tür katılımcı (öğrenci, öğrenci olmayan) için üç zaman dilimi boyunca iki durumda sayı verilerini karşılaştırmaktadırlar. Birden fazla 2x2 Chi Square testi, her katılımcı için her bir zaman periyodunu, her koşulda karşılaştırıyor (eğer mantıklıysa; örneğin öğrenciler, koşul 1, zaman periyodu 1 ve zaman periyodu 2), bu nedenle tüm analizler aynı hipotezi test ediyor .

Bu IMHO karmaşık bir konudur ve bu durum hakkında üç yorum yapmak istiyorum.

Birincisi ve genel olarak, tartışmalı bir bağlamda tanımlanmış bir dizi iyi şekilli hipotez ya da birçok olası göstergenin planlanmış olup olmadığından gözlemlendiği açıklayıcı bir çalışma ile doğrulayıcı bir çalışma ile karşılaşıp karşılaşmayacağınıza daha fazla odaklanacağım (çünkü tüm olası karşılaştırmaları yapmayı planlamanız yeterlidir).

İkinci olarak, ortaya çıkan p değerlerinin daha sonra nasıl tartışıldığına da odaklanacağım. Bireysel olarak bir dizi kesin sonuca varmak için mi kullanılıyorlar yoksa ortaklaşa kanıt ve kanıt eksikliği olarak mı tartışılıyorlar?

Son olarak,> 15 ayrı ki-kare testinden kaynaklanan> 15 hipotezinin aslında özetlenebilecek tek bir hipotezin (belki de tek bir hipotezin) ifadesi olma olasılığını tartışacağım.

Daha genel olarak, hipotezin önceden belirlenmiş olup olmadığına bakılmaksızın, çoklu karşılaştırmaları düzeltmek ya da düzeltmemek, tip I hatasına neleri dahil ettiğinizle ilgilidir. MC için düzeltme yapmazsanız, yalnızca karşılaştırma başına tip I hata oranı kontrolü tutarsınız. Dolayısıyla, çok sayıda karşılaştırma olması durumunda, yüksek aile içi tip I hata oranına sahipsiniz ve bu nedenle daha yanlış keşfe eğilimlisiniz.

Tasarımdaki güncellemeniz göz önüne alındığında, tüm verileri bir kerede kullanmak için bir çeşit log-lineer model yaptıklarını öneririm. Yaptıkları parça-yemek analizlerini yapmak (a) verimsiz (b) bilimsel değildir, çünkü kesin olarak daha az gerçek hipotez bulunan 15 hipotezi test eder.

Koşullu bir refleks olarak çokluğu düzeltmenin bir hayranı değilim, ancak bu durumda daha derin bir analitik yaklaşımı reddederse, düzeltmelerini öneririm.

'Önceden planlanmış' kelimesini 'planlı' yerine koyarsanız, bu yazarlar tarafından sunulan argümanın ortadan kaldırılmasına yardımcı olabilir. Aynı verilerin iki farklı istatistiksel analizini düşünün:

1. Mümkün olan her hipotez testinin, bir 'istatistiksel suçlu beyni' tarafından birleşik olarak önceden planlandığı 'önceden belirlenmiş bir suç', plan her birini sistematik olarak denemek ve testi 'anahtar bulgu' olarak en küçük p değerine sahip olmaktır. makalenin Sonuçlar, Tartışma ve Sonuç bölümlerinde ve aslında Başlıkta da tanıtmak.
2. Başlangıçtaki niyetin sadece bir hipotezle veriyle yüzleşmek olduğu bir “tutku suçu”, ancak “iyi ... bir şey diğerine yol açar” ve çoklu geçici hipotez testleri, öğrenmek "bir şeyler ... şey! " verilerden.

Her iki durumda da, bu 'cinayet' - soru Birinci Derece mi İkinci Derece mi? Açıkçası, ilki ahlaki olarak daha problemlidir. Bana öyle geliyor ki, buradaki yazarlar, kasıtlı olduğu için cinayet olmadığı etkisine bir şey iddia etmeye çalışıyorlar.

Bu makale doğrudan sorunuza yöneliktir: http://jrp.icaap.org/index.php/jrp/article/view/514/417

(Frane, AV, "Planlanan Hipotez Testleri Çokluk Ayarından Muaf Olmayabilir", Araştırma Uygulama Dergisi, 2015)