Zamanın başlangıcından beri neden tüm deneylere çoklu hipotez düzeltmeleri uygulanmadı?

Yanlış keşif oranını kontrol etmek için tek bir veri setine dayanan deneylere çoklu hipotez testi için Benjamini Hochberg benzeri düzeltmeler uygulamamız gerektiğini biliyoruz, aksi takdirde pozitif sonuç veren tüm deneyler yanlış olabilir.

Ama neden bu aynı prensibi, verilerin nereden geldiğine bakılmaksızın, zamanın başından beri tüm deneylere uygulamıyoruz.

Sonuçta, yayınlanmış bilimsel sonuçların yarısından fazlasının "önemli" olduğu kabul ediliyor ve artık yanlış ve yeniden üretilemez olduğu bilinmektedir ve bunun% 100 kadar kolay olmasının bir nedeni yoktur. Bilim adamları sadece olumlu sonuçlar yayınlamaya meyilli olduklarından, olumsuz sonuçların sayısı hakkında hiçbir fikrimiz yoktur, bu nedenle yayınladığımız şeylerin sadece yanlış pozitif olup olmadığına dair hiçbir fikrimiz yoktur - sıfır hipotezi altında rastgele rastgele tesadüfen yakalanan olumlu sonuçlar. Bu arada, çoklu hipotez test düzeltmelerinin ardındaki matematiğin yalnızca aynı veri setindeki sonuçlara uygulanması gerektiğini ve zamanla elde edilen tüm deneysel sonuçların sonuçlarına uygulanmaması gerektiğini söyleyen hiçbir şey yoktur.

Görünen o ki, bilimin tümü yanlış veya zayıf hipotezlere dayanan büyük bir balık avı yolculuğu haline geldi, peki bunun için nasıl kontrol edebiliriz?

Bugüne kadar yaptığımız tüm deneyler üzerinde çoklu hipotez testleri için herhangi bir düzeltme yapmadan elde edilen bağımsız sonuçlar ise, yanlış keşif oranını nasıl kontrol edebiliriz?

Bu tür bir düzeltme yapmadan yanlış keşif oranını kontrol etmek mümkün müdür ?

Bu tabii ki pratikte yapmak için mutlak bir kabus olabilir, ama yapılması herhalde olurdu: biz İstatistiksel Sultan'ı tayin ve herkes hipotez testi çalıştıran onların ham raporları bu despot için-değerlerine. Bir tür global (kelimenin tam anlamıyla) çoklu karşılaştırma düzeltmesini gerçekleştirir ve düzeltilmiş versiyonlarla cevap verir.$p$

Bu altın bir bilim ve akıl çağında işe yarar mıydı? Hayır muhtemelen değil.

---

En bir olduğu gibi hipotezler bir çift, dikkate alarak başlayalım testinde gösterilebilir. İki grubun bazı özelliklerini ölçüyoruz ve bu özellik hakkında iki hipotez arasında ayrım yapmak istiyoruz: Sonlu bir örnekte, gerçekten doğru olsa bile, araçların tam olarak eşit olması muhtemel değildir : ölçüm hatası ve diğer değişkenlik kaynakları, bireysel değerleri etrafa itebilir. Ancak,H 0 :  Gruplar aynı ortalamaya sahiptir. H A :  Grupların farklı araçları var. H 0 H $t$ $$\begin{align} H_0:& \textrm{ The groups have the same mean.} \\ H_A:& \textrm{ The groups have different means.} \end{align}$$ $H_0$$H_0$hipotez bir anlamda "sıkıcı" dır ve araştırmacılar genellikle gerçekte var olmayan gruplar arasında bir fark bulduklarını iddia ettikleri "yanlış bir pozitif" durumdan kaçınmakla ilgilenirler. Bu nedenle, sonuçları yalnızca "boş" hipotezi altında pek görünmüyorsa ve konvansiyonel olarak olasılıksızlık eşiğinin% 5 olarak belirlenmiş olması durumunda "anlamlı" olarak adlandırırız.

Bu tek bir test için geçerlidir. Şimdi, birden fazla test yapmaya karar verdiğinizi ve her biri için yanlışlıkla kabul etme % 5'ini kabul etmeye istekli olduğunuzu varsayalım . Yeterince testle, neredeyse kesin olarak hata yapmaya başlayacaksınız ve birçoğu.$H_0$

Çeşitli çoklu düzeltme yaklaşımları, bireysel testlere katlanmak için zaten seçtiğiniz nominal bir hata oranına geri dönmenize yardımcı olacak şekilde tasarlanmıştır. Bunu biraz farklı şekillerde yaparlar. Bonferroni , Sidak ve Holm prosedürleri gibi Family-Wise Error Rate'i kontrol eden yöntemler "Tek bir testte% 5 hata yapma şansı istediniz, bu yüzden 5'ten fazla olmamanızı sağlayacağız. Tüm testlerinizde hata yapma şansınız% "dedi. Yanlış Bulma Oranını kontrol eden yöntemlerbunun yerine, "Tek bir testle zamanın% 5'ine kadar yanlış olmanız açıkça görülüyor, bu yüzden birden fazla test yaparken" aramalarınızın "% 5'inden fazlasının yanlış olmamasını sağlayacağız" deyin. (Farkı gör?)

---

Şimdi, şimdiye kadar yapılan tüm hipotez testlerinin ailevi hata oranını kontrol etmeye çalıştığınızı varsayalım . Esasen, hiç boş bir hipotezi <% 5 oranında yanlış bir şekilde reddetme şansı istediğinizi söylüyorsunuz. Bu imkansız bir şekilde katı bir eşik belirledi ve çıkarım etkili bir şekilde işe yaramazdı, ancak daha da acil bir konu var: küresel düzeltmeniz kesinlikle saçma sapan "bileşik hipotezleri" gibi

$$\begin{align} H_1: &\textrm{Drug XYZ changes T-cell count } \wedge \\ &\textrm{Grapes grow better in some fields } \wedge&\\ &\ldots \wedge \ldots \wedge \ldots \wedge \ldots \wedge \\&\textrm{Men and women eat different amounts of ice cream} \end{align}$$

Yanlış Keşif Hızı düzeltmeleri ile sayısal sorun çok ciddi değildir, ancak felsefi olarak hala bir karışıklıktır. Bunun yerine, bir genom araştırması sırasında aday genlerin bir listesi veya bir spektral analiz sırasında bir dizi zaman-frekans kutusu gibi, ilgili testlerin bir “ailesini” tanımlamak mantıklıdır. Ailenizi belirli bir soruya göre uyarlamak, Tip I hatalarınızı direkt olarak yorumlamanıza olanak tanır. Örneğin, kendi genomik verilerinizden FWER düzeltmeli bir p-değerleri setine bakabilir ve "Bu genlerin herhangi birinin yanlış pozitif olma şansı <% 5'tir" diyebilirsiniz. Bu, umursamadığınız konularda umursamadığınız insanlar tarafından yapılan çıkarımları kapsayan berbat bir garantiden çok daha iyidir.

Bunun en önemli yanı, "aile" nin uygun seçiminin tartışmalı ve biraz öznel olmasıdır (Bütün genler bir aile mi yoksa sadece kinazları düşünebilir miyim?) Ama sorununuzdan haberdar olmalı ve kimseye inanmamalıyım. Neredeyse bu kadar geniş kapsamlı aileleri tanımlamayı şiddetle savundu.

---

Peki ya Bayes?

Bayesian analizi bu soruna tutarlı bir alternatif sunar - eğer Frequentist Tip I / Tip II hata çerçevesinden biraz uzaklaşmaya istekliysen. Her şeyden önce kesin olmayan bazı şeylerle başlıyoruz. Bir şeyi her öğrendiğimizde, bu bilgi bir posterior dağılım üretmek için öncekiyle birleştirilir ve bu da bir sonraki öğrenmede bir öncekine dönüşür. Bu size tutarlı bir güncelleme kuralı verir ve iki hipotez arasındaki Bayes faktörünü hesaplayarak belirli şeyler hakkındaki farklı hipotezleri karşılaştırabilirsiniz. Muhtemelen modelin büyük parçalarını hesaba katabilirdiniz ki bu da bunu özellikle zahmetli yapmaz.

Bayes yöntemlerinin çoklu karşılaştırma düzeltmeleri gerektirmediği konusunda ısrarcı bir belirti var. Maalesef, arka oranlar, sıkça kullanılanlar için bir başka test istatistiğidir (yani Tip I / II hatalarını önemseyen insanlar). Bu tür hataları kontrol eden herhangi bir özel mülkleri yoktur (Neden öyle?) Böylece, geri çekilemez bir bölgeye geri döndünüz, ama belki biraz daha ilkeli bir zeminde.

Bayes karşı argüman biz bilebiliriz odaklanmak gerektiğidir şimdi ve böylece bu hata oranlarının önemli değildir.

---

Yeniden Üretilebilirlik Üzerine

Yanlış çoklu karşılaştırma-düzeltmenin birçok yanlış / tekrarlanamayan sonucun arkasındaki neden olduğunu öne sürüyor gibi görünüyorsunuz. Benim düşüncem, diğer faktörlerin bir sorun olma ihtimali daha yüksek. Bariz bir şey yayınlama baskısının insanları hipotezlerini gerçekten vurgulayan deneylerden (yani kötü deneysel tasarım) kaçınmasına yol açtığıdır.

Örneğin, [bu deneyde] Amgen (ir (parçası) İnisiyatif tekrarlanabilirlik 6 , bu fareler ilgilenilen genin dışındaki genlerde mutasyonlar olduğu ortaya çıkar. Andrew Gelman da bahsetmek sever Yolları Çatallanan Bahçe , burada Araştırmacılar verilere dayanarak (makul) bir analiz planı seçiyorlar, ancak veriler farklı görünüyorsa başka analizler yapmış olabilirler. Bu, -değerlerini çoklu karşılaştırmalara benzer şekilde şişirir , ancak daha sonra düzeltilmesi daha zordur. Ayrıca bir rol oynayabilir, ancak benim hissim (ve umudum), bunun giderek gelişmekte olduğu yönünde.$p$

İstatiksel olarak üretilen bilimi karamsar bir bakış açısını kasıtlı olarak çizdiğinizi düşünüyorum. Aslında, benim görüşüme göre, istatistikler sadece p değerleri sağlayan bir dizi araç değildir. Ayrıca, bilimsel indüksiyon prosedüründe yer alan bazı olası etkiler konusunda titizlik, dikkat ve uyanıklık durumu vardır ... ve aklıma geldiğinde, belirttiğiniz her şey kabaca doğrudur. ürettiğimiz bilgiler hakkında:

• İlk olarak, bir sonuca yalnızca belirli bir eşik değerden daha düşük ap değeri argümanı altında ulaşılmamalıdır.

• İkincisi, benim bilgime göre “yayınlanan bilimsel sonuçların yarısından fazlası yanlış” türü argümanları ilgi çekici ve ilgi çekicidir ancak yaklaşık olarak 0,05'e eşit p değerleri temelinde hesaplanmaktadır (bakınız örneğin, p değerleri ve yanlış keşif oranı ile ilgili karışıklık ). . Düşük p değerleri için etki, bildirilenden çok daha düşüktür ve pratikte p değerinin 0,05'ten daha düşük olması nadir değildir. Ayrıca, birçok kez belirli bir hipotez, açıklanan etkileri tekrar azaltan birkaç alt hipotez ile doğrulanır.

• Üçüncüsü, yeniden üretilebilirlik sorunu gerçek ama aynı zamanda kafa karıştırıcı etkilerin, grup tasarımlarının tanımlanması ve ele alınmasıyla istatistikçilerin ele alması gereken bir problemdir ve uzmanlık ve titizlikle yapılırsa bu çok iyi yapılabilir.

• Son olarak, anladığım kadarıyla, bir arketipik istatistiksel çalışmanın aşağıdaki 5 ardışık adımı az ya da çok yapması gerekiyor:

  Formulate one or a few hypotheses
  Design the corresponding study
  Acquire the data
  Analyse the data
  Make conclusions about the above hypotheses (and only these ones)
  

  Bu genel rehber, genel çıkarımlar üretmemiz için bir araç olarak balıkçılık gezilerini engellememizi önler.

Sonuç olarak, p değerlerini aştırarak bizi kötü bilimsel sonuçlara karşı koruma niyetinizin biraz aldatıcı olduğunu söyleyebilirim. Uyarılmış ve doğru analizler sağlayarak ve teşvik ederek bizi kötü bilimsel sonuçlara karşı korumayı tercih ederim (ve bunun, bu sitede bu kadar nitelikli insanın burada başkalarına yardım etmelerinin bir nedeni olduğunu düşünmek istiyorum).

Bu tür bir düzeltme yapmadan yanlış keşif oranını kontrol etmek mümkün müdür?

$100\,a$$a$

Unutmayın ki (sık) hata oranları, herhangi bir bireysel test tarafından test edilen bir hipotezle ilgili herhangi bir olasılıkla ilgili değildir, ancak garantili uzun vadeli başarısızlık oranları ile test yapmak için yöntemler olarak kullanılır. Çoklu karşılaştırmalar için düzeltme, uzun vadeli başarısızlık oranlarını garanti etmek için başka bir yöntemdir: bunlardan biri, bileşik için bazı garantili uzun vadeli başarısızlık oranının tutulacağı şekilde birden fazla test içeren bileşik yöntemler oluşturmak için.

100 test ile tek bir deney yaparsanız ve bunların 5'inin boşa karşı konuştuğunu bildirirseniz, bu nedenle gerçek bir sonuç gözlemlediğinizi iddia ederseniz, ortalama olarak, 100 gerçek boşluğun% 5'i test edildiğinde, hiç kimse etkilenmeyecektir. reddetmek; kullandığınız yöntem, "100 test yapın ve herhangi birinin% 5 eşiğini karşılayıp karşılamadığını rapor edin",% 5'ten daha yüksek bir başarısızlık oranına sahip. Bu nedenle, çoklu karşılaştırmaları kontrol etmeyi seçebilir ve örneğin 100 testten 2'sinin p değerlerinin% (5/100 == 0,05) altında olduğunu rapor edebilirsiniz. Şimdi yine% 5'lik bir garanti oranı (en az bir varsayım yanlış olmasa bile en az bir önemli test bildirme hatası için) olan bir yöntem kullanıyorsunuz.

$a$, düzeltilmemiş eşikler). Buna karşılık, eğer herkes çalışma başına 100 gerçek hipotezi test etmişse ve FEW uygulamamışsa, önemli etkiler bildiren deney sayısı% 5 garantili hata oranını aşacaktır. (Gerçek hipotezlerin çoklu testlerinin bir çalışmasında önemli bir test bildirme oranını garanti eden bir yöntem olmayan FDR / Yanlış Tespit Hızı ile kontrast.)