Neden sık hipotez testleri, null hipotezini yeterince büyük örneklerle reddetmeye karşı önyargılı hale geliyor?

Bu bölüme girdiğimde tamamen alakasız bir problem için Bayes faktörü hakkındaki bu makaleyi okuyordum.

Bayes faktörleri ile yapılan hipotez testleri, sık rastlanan hipotez testlerinden daha sağlamdır, çünkü Bayesian formu model seçim yanlılığını önler, kanıtları boş hipotez lehine değerlendirir, model belirsizliği içerir ve iç içe geçmemiş modellerin karşılaştırılmasına izin verir (tabii ki modelin zorunluluğu vardır. aynı bağımlı değişkene sahip). Ayrıca, sık anlamlılık testleri, boş hipotezi yeterince büyük örneklem büyüklüğü ile reddetme lehine önyargılı hale geldi. [vurgu eklendi]

Bu iddiayı daha önce Karl Friston'un 2012 yılında NeuroImage’da yazdığı bir gazetede görmüştüm , burada klasik çıkarımın yanlışlığı olarak adlandırıyor .

Bunun neden doğru olması gerektiğine dair gerçekten pedagojik bir hesap bulmakta biraz sıkıntı yaşadım. Özellikle, merak ediyorum:

1. bu neden olur
2. karşı nasıl korunacağını
3. Başarısız, nasıl tespit edilir

Söz 1 Yanıt: nedeniyle oluşur -değeri gerçek bir fark (fark olmadığını hipotezi eşitlik / bir şekilde yani testler) farkı frequentist testlerinde numune boyutu arttıkça keyfi az olur tam olarak sıfıra eşit , keyfi olarak sıfıra yakın olanın aksine, gerçekçi değildir (Nick Stauner'in OP hakkındaki yorumuna bakınız). frequentist Test istatistiği hata Genellikle bu netice ile, örnek büyüklüğü azalır, çünkü-değeri isteğe bağlı olarak küçük bir hale gelir tüm farklar yeterince büyük bir örnek büyüklüğü ile rasgele bir düzeye önemlidir . Cosma Shalizi bu konuda yanlış yazmış .$p$$p$

2. soruya cevap: Sık sık bir hipotez testi çerçevesinde, yalnızca farkı saptamaktan çıkarıp çıkmamak suretiyle buna karşı korunabilir . Örneğin, bir yapabilirsiniz birleştirmek hakkında çıkarımlarda farkı ve denklik bu bir lehine değildir bu yüzden (ya conflating!) İspat yükünü üzerine etkisinin kanıtı karşı etkisinin olmaması kanıtı . Bir etkinin yokluğunun kanıtı, örneğin:

1. denklik için iki tek taraflı test (TOST),
2. denklik için eşit olarak en güçlü testler , ve
3. denklik için güven aralığı yaklaşım (yani eğer % CI istatistiksel test ait olan önsel eşdeğerlik / alaka -defined aralığında, daha sonra bir de denklik sonucuna anlamlılık düzeyi).$1-2\alpha$$\alpha$

Bu yaklaşımların hepsinin paylaştığı şey, hangi etki büyüklüğünün ilgili bir fark oluşturduğuna dair önceden belirlenmiş bir karar ve en azından ilgili olduğu kadar büyük bir fark olarak çerçevelenmiş boş bir hipotezdir .

Farklılık testlerinden ve denklik testlerinden gelen birleşik çıkarım, bu nedenle örneklem büyüklüğü bu şekilde büyük olduğunda tanımladığınız önyargıya karşı koruma sağlar (farklılık için birleştirilmiş testlerden kaynaklanan dört olasılığı gösteren iki-iki tablo - pozitivist null hipotezi, —ve denklik — negativist boş hipotezi, H ):$_{0}^{+}$$_{0}^{-}$

Bir edinceye testi biridir: Sol üst kadranı dikkat evet hayır farkın hipotezini reddetmek, ama aynı zamanda bu kadar evet bir fark var, ilgili farkın sıfır hipotezini reddetmek bununla birlikte ne kadar önsel Eğer umurumda değil karar verdi çünkü çok küçük.

3. soruya cevap : 2. cevaba bakınız.

Büyük numunelerle yapılan sıkça yapılan testler, eğer sıfır hipotezi doğruysa, sıfır hipotezini reddetme konusunda önyargı göstermeyin. Testin varsayımları geçerliyse ve sıfır hipotezi doğruysa, o zaman büyük hipotezin reddedilmesine yol açan büyük bir numunenin küçük bir numuneden daha fazla riski yoktur. Eğer sıfır doğru değilse, o zaman reddetmekten memnuniyet duyarız, bu nedenle büyük bir örneğin küçük bir numuneden ziyade yanlış bir boş değeri reddedeceği gerçeği 'önyargı' değil, uygun davranıştır.

'Güçlü deneylerin' korkusu, neredeyse doğru olduğunda boş hipotezi reddetmenin iyi bir şey olmadığını varsaymaya dayanır. Ama eğer sadece neredeyse doğruysa, o zaman aslında yanlış! Reddetmek, ancak gözlemlenen etki büyüklüğünü fark etmemek (ve açıkça rapor etmek). Önemsiz bir şekilde küçük olabilir ve bu nedenle ciddi olarak dikkate alınmayabilir, ancak hipotez testinin dışından gelen bilgiler dikkate alındıktan sonra bu konuda bir karar verilmelidir.