Aile açısından hata sınırı: Farklı bağımsız soru çalışmalarında veri kümelerinin yeniden kullanılması birden fazla test sorununa yol açar mı?

Bir araştırmacı ekibi belirli bir veri seti üzerinde çoklu (hipotez) testleri yaparsa, testler bağımsız olsa bile çoklu testler için bir çeşit düzeltme kullanmaları gerektiğini iddia eden bir literatür vardır. Sorum şu: aynı mantık aynı veri kümesinde hipotezleri test eden birden fazla takım için de geçerli mi? Başka bir deyişle - aileden gelen hata hesaplamaları için engel nedir? Araştırmacılar veri kümelerini yalnızca keşif amacıyla yeniden kullanmakla mı sınırlı?

@Fcoppens'in tek bir soruşturma içinde çoklu hipotez düzeltmesinin önemini fark etmesinden "Aynı mantıkla, birkaç test bu testleri yaparsa aynı şey" iddiasına karşı çıkmaya kesinlikle katılmıyorum.

Ne kadar çok çalışmanın yapıldığına ve hipotezlerin ne kadar test edildiğine dair bir soru yoktur, daha fazla Tip I hatası ortaya çıkacaktır. Ama bence burada "aile bilimi hata" oranları ve bunların gerçek bilimsel çalışmalara nasıl uygulandığı konusunda bir karışıklık var.

İlk olarak, önceden test edilmiş hipotezlerin bulunmadığı , post-hoc karşılaştırmalarda çoklu test düzeltmelerinin ortaya çıktığını unutmayın . Önceden tanımlanmış küçük bir dizi hipotez olduğunda aynı düzeltmelerin gerekli olduğu açık değildir.

İkincisi, bireysel bir yayının "bilimsel gerçeği", yayın içindeki her bir ifadenin gerçeğine bağlı değildir. İyi tasarlanmış bir çalışma, genel bir bilimsel (istatistikselin aksine) hipoteze birçok farklı perspektiften yaklaşır ve bilimsel hipotezi değerlendirmek için farklı türde sonuçları bir araya getirir . Her bir sonuç istatistiksel bir testle değerlendirilebilir.

Bununla birlikte, @fcoppens'in argümanı ile, eğer bu istatistiksel testlerden biri bile bir Tip I hatası yaparsa , bu “yanlış bilimsel bilimsel inanç” a yol açar. Bu sadece yanlış.

Bir yayındaki bilimsel hipotezin "bilimsel gerçeği", bireysel bir istatistiksel testin geçerliliğinin aksine, genellikle farklı kanıt türlerinin bir kombinasyonundan gelir. Birden fazla kanıt türündeki ısrar, bilimsel bir hipotezin geçerliliğini kaçınılmaz olarak ortaya çıkan bireysel hatalara karşı sağlam kılar . Geri benim 50 ya da bilimsel yayına bakmak gibi ben bulmak zor olurdu herhangi kalıntılar @fcoppens olarak her detayında kusursuz ısrar görünüyor böylece. Yine de benzer bulmak zor am herhangi nerede bilimselhipotez tamamen yanlıştı. Belki de eksik; elbette bu alandaki gelişmelerle alakasız hale geldi. Ama o zaman bilimsel bilginin durumu bağlamında "yanlış" değil.

Üçüncü olarak, argüman Tip II hata yapma maliyetlerini göz ardı etmektedir. Tip II hatası, ümit verici bilimsel sorgulama alanlarının tümünü kapatabilir. @Fcoppens'in önerilerine uyulacak olsaydı, Tip II hata oranları bilimsel girişimin zararına büyük ölçüde yükselirdi.

Son olarak, uygulamada tavsiyeyi takip etmek imkansızdır. Bir dizi kamuya açık veriyi analiz edersem, başka birinin bunu kullanıp kullanmadığını veya hangi amaçla kullandığını bilmem mümkün olmayabilir. Başka birinin hipotez testlerini düzeltmek için bir yolum yok. Ve yukarıda tartıştığım gibi, yapmamalıydım.

'Tip I hatasını' '' çoklu test '' düzeltmesi gereklidir: örn. Her biri güven düzeyinde iki test gerçekleştirirseniz ve ilk önce alternatif ve ikinci hipotez ile . , H ( 1 ) 0 'H ( 1 ) 1 H ( 2 ) 0 , H ( 2 )$\alpha=5\%$$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

O zaman biliyoruz ki, örneğin ilk hipotez için I. tip hata yanlış reddetme olasılığıdır ve . α = % $H_0^{(1)}$$\alpha=5\%$

İki testi gerçekleştirirseniz, ikisinden en az birinin yanlış bir şekilde reddedilme olasılığı 1 eksi eşittir, her ikisinin de kabul edilme olasılığı ki bu, , eşittir , bu nedenle en az bir yanlış reddetme türünün bir numaralı hatası neredeyse ikiye katlanmıştır! α = 5 % 9.75 $1 - (1-\alpha)^2$$\alpha=5\%$$9.75\%$

İstatistiksel hipotez testinde sadece alternatif hipotez için istatistiksel kanıt bulabilir, null değerini reddederek, null değerini reddetmek alternatif hipotez lehine kanıt olduğu sonucuna varmamızı sağlar . (ayrıca bkz . Boş hipotezi reddedemezsek ne olur? ).

Dolayısıyla, sıfırın yanlış bir şekilde reddedilmesi bize yanlış kanıtlar verir, böylece '' bilimsel gerçek '' in yanlış inancı. Bu yüzden bu tip I enflasyondan (tip I hatasının neredeyse iki katına çıkması) kaçınılmalıdır; daha yüksek tip I hataları , bir şeyin bilimsel olarak kanıtlanmış olduğuna dair daha yanlış inançlar anlamına gelir . Bu nedenle insanlar, türü Ierror'u aile düzeyinde kontrol ederler.

Birden fazla test yapan bir araştırmacı ekibi varsa, sıfır hipotezini her reddettiğinde, bilimsel bir gerçeğin istatistiksel kanıtını buldukları sonucuna varırlar. Bununla birlikte, yukarıdakilere göre, bu sonuçların 5'inden fazlası '' bilimsel gerçek '' in yanlış bir inancıdır. $5\%$

Aynı mantıkla, birkaç ekip bu testleri (aynı veriler üzerinde) yaparsa aynı şey geçerlidir.

Açıkçası, yukarıdaki bulgular sadece ekipler aynı veriler üzerinde çalışırsak geçerlidir . Farklı numuneler üzerinde çalıştıklarında farklı olan nedir?

$\sigma$$H_0: \mu = 0$$H_1: \mu \ne 0$$\alpha=5\%$

Örneğimiz ('veriler') sadece bir gözlemdir, bu yüzden gözlem null değerini reddedeceğiz$o$$1.96\sigma$$-1.96\sigma$

$5\%$$H_0$$H_0$$\mu=0$$H_0$$o \not \in [-1.96\sigma;1.96\sigma$$H_0$

Aynı verileri kullanırsak, testlerin sonuçları '' şanssızlık '' ile çizilmiş bir örneğe dayanıyor olabilir. Başka bir örnekle bağlam farklıdır.