Benjamini & Hochberg, yanlış keşif oranını benim yaptığım gibi, pozitif pozitif testlerin oranı olarak tanımlar. Bu nedenle, prosedürlerini çoklu karşılaştırmalar için kullanırsanız, FDR'yi düzgün bir şekilde kontrol edersiniz. Bununla birlikte, BH yönteminde oldukça fazla varyant olduğunu belirtmek gerekir. Benjamini'nin Berkeley'deki seminerleri Youtube'da ve izlemeye değer:
@Amoeba'nın "Bu çok güçlü bir şekilde formüle edildi ve aslında yanıltıcı olabilir" dediğinden emin değilim. Neden böyle düşündüğünü bilmek isterdim. En ikna edici argüman simüle t testlerinden gelir (bölüm 6). Bu, neredeyse herkesin pratikte ne yaptığını taklit eder ve 0.047'ye yakın P'yi gözlemlerseniz ve bir keşif yaptığınızı iddia ederseniz, zamanın en az% 26'sında yanılmış olacağınızı gösterir. Ne yanlış gidebilir?
Tabii ki, bunu minimum olarak tanımlamamalıyım. Gerçek bir etki olma olasılığının% 50 olduğunu varsayarsanız ne olur. Elbette, hipotezlerinizin çoğunun önceden doğru olduğunu varsayarsanız, o zaman% 26'dan daha düşük bir FDR elde edebilirsiniz, ancak varsayım temelinde bir keşif yaptığınız iddiasını selamlayacak komikliği hayal edebiliyor musunuz? sonucunuzun doğru olacağından% 90 emin olabilirsiniz. % 26, 0,5'ten büyük herhangi bir olasılık varsayımının çıkarılmasının makul bir temel olmadığı göz önüne alındığında minimum FDR'dir.
Önsezi test edildiğinde sık sık ayağa kalkmazsa, herhangi bir belirli hipotezin sadece% 10 şansının doğru olması ve bu durumda FDR'nin% 76'lık bir felaket olması iyi olabilir.
Bütün bunların sıfır hipotezine, sıfır fark olduğu (null noktası denir) olduğu koşuluna bağlı olduğu doğrudur. Diğer seçenekler farklı sonuçlar verebilir. Ancak asıl mesele, neredeyse herkesin gerçek hayatta kullandığı şeydir (bunun farkında olmayabilir). Ayrıca null noktası bana kullanmak için tamamen uygun bir şey gibi görünüyor. Bazen gerçek farklılıkların hiçbir zaman tam olarak sıfır olmadığı itiraz edilir. Katılmıyorum. Sonuçlarımızın her iki gruba da aynı tedavilerin verildiği durumdan ayırt edilip edilemeyeceğini söylemek istiyoruz, bu yüzden gerçek fark tam olarak sıfır. Dışarıdaki verilerin bu görünümle uyumlu olmadığına karar verirsek, efekt boyutunu tahmin etmeye devam ederiz. ve bu noktada, etkinin gerçekte olsa da, uygulamada önemli olacak kadar büyük olup olmadığına dair ayrı bir yargıya varıyoruz.Deborah Mayo'nun blogu .
@amoeba Yanıtınız için teşekkürler.
Mayo'nun blogunda tartıştığı şey çoğunlukla Mayo'nun en azından bana neden olduğunu açıklamamış olmasına rağmen benimle aynı fikirde olmamasıdır). Stephen Senn, önceden farklı bir dağıtım önerdiğinizde farklı bir yanıt alabileceğinizi belirtiyor. Bu sadece öznel Bayesliler için ilginç görünüyor.
Her zaman sıfır noktası alan günlük uygulamalarla kesinlikle alakasız. Ve açıkladığım gibi, bu bana çok mantıklı bir şey gibi geliyor.
Birçok profesyonel istatistikçi benimkiyle aynı sonuçlara varmıştır. Sellke & Berger ve Valen Johnson'u (makalemdeki referanslar) deneyin. İddialarım hakkında çok tartışmalı (veya çok orijinal) bir şey yok.
Daha önce 0,5 varsaymakla ilgili diğer hususunuz bana hiç bir varsayım gibi gelmiyor. Yukarıda açıkladığım gibi, 0,5'in üzerindeki her şey pratikte kabul edilemez. Ve 0,5'in altındaki herhangi bir şey yanlış keşif oranını daha da yükseltir (örneğin, önceden 0,1 ise% 76). Bu nedenle,% 26'nın tek bir deneyde P = 0.047 gözlemlerseniz bekleyebileceğiniz minimum yanlış keşif oranı olduğunu söylemek kesinlikle mantıklıdır.
Bu soru hakkında daha fazla düşünüyorum. Benim FDR tanımım Benjamini'ninkiyle aynı - yanlış pozitif testlerin oranı. Ancak oldukça farklı bir soruna, tek bir testin yorumlanmasına uygulanır. Geriye dönüp baktığımda, farklı bir terim seçseydim daha iyi olabilirdi.
Tek bir test durumunda, B&H P değerini değiştirmeden bırakır, bu yüzden terimi kullandığım anlamında yanlış keşif oranı hakkında hiçbir şey söylemez.
es tabii ki haklısın. Benjamini & Hochberg ve çoklu karşılaştırmalar üzerinde çalışan diğer kişiler yalnızca tip 1 hata oranını düzeltmeyi amaçlamaktadır. Böylece "doğru" bir P değeri elde ederler. Diğer P değerleriyle aynı problemlere tabidir. En son makalemde, bu yanlış anlaşılmayı önlemek için adı FDR'den Yanlış Pozitif Risk'e (FPR) değiştirdim.
Bazı hesaplamaları yapmak için bir web uygulaması da yazdık (az sayıda kişinin sağladığımız R komut dosyalarını indirdiğini fark ettikten sonra). Hiç de var https://davidcolquhoun.shinyapps.io/3-calcs-final/ itare hakkında her görüşler hoşgeldin (ilk Notlar sekmesini okuyunuz).
PS Web hesap makinesi şimdi http://fpr-calc.ucl.ac.uk/
Shiny.io yeni bir (kalıcı, umarım) kullanımı kolaydır, ancak kimse aslında uygulamayı kullanıyorsa çok pahalı :-(
Bu tartışmaya geri döndüm, şimdi konuyla ilgili ikinci makalem Royal Society Open Science'da görünmek üzere. Bu yer almaktadır https://www.biorxiv.org/content/early/2017/08/07/144337
İlk makalede yaptığım en büyük hatanın "yanlış keşif oranı (FDR)" terimini kullanmak olduğunu fark ettim. Yeni makalede, çoklu karşılaştırma problemi hakkında hiçbir şey söylemediğimi daha açık hale getiriyorum. Sadece tek bir tarafsız testte gözlemlenen P değerinin nasıl yorumlanacağı sorusuyla ilgileniyorum.
En son versiyonda, karışıklığı azaltma umuduyla, sonucun FDR yerine yanlış pozitif risk (FPR) olma olasılığını ifade ediyorum. Ayrıca ters Bayesci yaklaşımı savunuyorum -% 5'lik bir FPR sağlamak için gerekli olan önceki olasılığı belirtin. P = 0.05'i gözlemlerseniz, bu 0,87'ye gelir. Başka bir deyişle,% 5'lik bir FPR elde etmek için deneyi yapmadan önce gerçek bir etki olduğundan neredeyse (% 87) emin olmanız gerekir (çoğu insanın yanlışlıkla, p = 0.05 anlamına geldiği anlamına gelir).