Fisher'ın “git daha fazla veri al” yaklaşımı ne zaman anlamlıdır?

Gung'un harika cevabından alıntı

İddiaya göre, bir araştırmacı bir keresinde Fisher'a “önemli olmayan” sonuçlarla yaklaşmış, ne yapması gerektiğini sormuş ve Fisher “git daha fazla veri al” dedi.

Bir Neyman- Pearson açısından bakıldığında, bu bariz olan -hacking ancak Fisher'in go-get-daha-veri yaklaşımı mantıklı bir kullanım örneği var mıdır?$p$

Sık görülen paradigma, Fisher ve Neyman-Pearson'un görüşlerinin bir birleşimidir. Sadece bir yaklaşımı ve başka bir yorumu kullanırken problemler ortaya çıkar.

Daha fazla veri toplamanın daha fazla kanıt olduğu gibi, daha fazla veri toplamanın sorunlu olduğu herkes için garip görünmelidir. Gerçekten de, sorun daha fazla veri toplamada değil, aynı zamanda ilginin ölçüsü olduğunda, buna karar vermek için değerinin kullanılmasında yatmaktadır . Dayalı daha fazla veri toplama -değeri sadece yeni hesaplamak eğer -hacking değerini gösterir.$p$$p$$p$$p$

Araştırma sorusu hakkında tatmin edici bir sonuç çıkarmak için yeterli kanıtınız yoksa, elbette, daha fazla veri alın. Ancak, araştırmanın NHST aşamasına geçmiş şimdi olduğunu kabul ve yerine odak miktarının ilgi etkisi.

İlginç bir not, Bayesanlar'ın bu ikilemden muzdarip olmadığıdır. Aşağıdakileri örnek olarak düşünün:

• Eğer bir sıklıkçı önemli bir fark çıkarmazsa ve sonra bir denklik testine geçerse, kesinlikle yanlış pozitif oran artmıştır;
• Bir Bayesian aynı anda en yüksek yoğunluk aralığını ve bir farkın pratik denklik bölgesini ifade edebilir ve geceleri aynı şekilde uyuyabilir.

Yeterince büyük bir örneklem büyüklüğü verildiğinde, test, gerçek etki büyüklüğü tam olarak sıfır değilse, burada tartışıldığı gibi her zaman önemli sonuçlar verecektir . Uygulamada, gerçek etki büyüklüğü sıfır değildir, bu nedenle daha fazla veri toplamak en ufak farkları tespit edebilecektir.

Fisher'ın (IMO) fasetli cevabı, kendi öncülünde 'önemli fark' ile 'pratik olarak ilgili fark' ile birleştiği göreceli olarak önemsiz bir soruyu yanıtlıyordu.

Ofisime giren ve "25 gram" etiketli bu kurşun ağırlığı tarttım ve 25.0 gram ölçtüm. Yanlış etiketlendiğine inanıyorum ne yapmalıyım? "Diye soran bir araştırmaya eşdeğer olacaktır. Cevaplayabileceğim, "Daha hassas bir ölçek alın."

İlk testin pratikte alakalı olduğu farkın büyüklüğünü tespit etmek için yeterince güçsüzce kullanıldığında, daha fazla veri toplama yaklaşımının uygun olduğuna inanıyorum.

Teşekkürler. Burada akılda tutulması gereken birkaç şey var:

1. Alıntı kıyamet olabilir.
2. İkinci bir çalışma için daha fazla / daha iyi veri veya farklı bir kaynaktan (daha kesin bir ölçek, cf., @ Underminer'in cevabı ; farklı durum veya kontroller; vb.) Veri elde etmek oldukça mantıklıdır (bkz. @ Glen_b'in yorumu ). . Yani, ek verileri orijinal verilerle birlikte analiz edemezsiniz: D = anlamlı olmayan bir sonuçla N = 10 olduğunu, başka bir N = 20 verisi toplayıp bunları tek başına analiz edebileceğinizi söyleyin (30'u birlikte test etmeden) ). Alıntı kıyamet değilse, Fisher'in aklında olan şey bu olabilirdi.
3. Fisher'ın bilim felsefesi esas olarak Popperian'dı . Başka bir deyişle, boş değer, teorinizi onaylamak için kesinlikle reddedilecek bir şey değildi, ama ideal olarak teorinizin kendisi olabilir, öyle ki reddetme evcil hayvan teorinizin yanlış olduğu ve çizim tahtasına geri dönmeniz gerektiği anlamına gelir. Böyle bir durumda, tip I hata enflasyonu araştırmacının yararına olmaz. (Öte yandan, bu yorum, karakterin dışında kalmayacak kadar kargaşalı olmadıkça, bu tavsiyede bulunan Fisher'a karşı keser.)
4. Her halükarda, bu yorumun dahil edilmesinin sebebinin, iki yaklaşımın doğasındaki farklılıklarla ilgili temel bir şeyi gösterdiği olduğunu belirtmeye değer.

P-hack olarak adlandırdığımız şey, bir defalarca bir önemlilik testi uygulamak ve yalnızca önemlilik sonuçlarını bildirmektir. Bunun iyi ya da kötü olması durumsal olarak bağımlıdır.

Açıklamak için, boş ve alternatif hipotezlerden ziyade Bayesian terimlerindeki gerçek etkileri düşünelim. İlgi etkilerimizin sürekli bir dağılımdan geldiğine inandığımız sürece , sıfır hipotezinin yanlış olduğunu biliyoruz . Ancak, iki taraflı bir test olması durumunda, bunun olumlu mu yoksa olumsuz mu olduğunu bilmiyoruz. Bu ışık altında, iki taraflı testler için p-değerlerini, kanıtın ne kadar güçlü olduğunu tahmin etmemizin doğru yöne (yani, olumlu veya olumsuz etkiye sahip) olduğunu düşünebiliriz.

Bu yorum altında, herhangi bir anlamlılık testinin üç olası sonucu olabilir: etkinin yönünü sonuçlandırmak için yeterli kanıt görüyoruz ve haklıyız, etkinin yönünü sonuçlandırmak için yeterli kanıt görüyoruz ama yanılıyoruz veya yapmıyoruz etkinin yönünü sonuçlandırmak için yeterli kanıtı görün. Yeterli kanıtınızın (yani, ) olduğuna dair şartlı olduğuna dikkat edin , yönün doğru olma olasılığının yanlış alma olasılığından daha büyük olması gerektiğine dikkat edin (bazı gerçekten çılgın, gerçekten kötü bir testiniz olmadıkça). gerçek etki büyüklüğü sıfıra yaklaşır, yeterli kanıt verildiğinde verilen yönü doğru alma koşulu olasılığı 0.5'e yaklaşır.$p < \alpha$

Şimdi, daha fazla veri almak için geri döndüğünüzde ne olacağını düşünün. Ne zaman daha fazla veri elde ederseniz, yönü doğru şekilde alma olasılığınız yeterli veriye bağlı olarak artar. Bu nedenle, bu senaryoda, daha fazla veri alarak, aslında bir tip I hata olasılığını arttırmamıza rağmen, aynı zamanda yanlışlıkla yanlış yönlendirme olasılığını da azalttığımızı anlamamız gerekir.

Bunu aksine, P-hack'in daha da kötüye kullanımı; Çok küçük olma olasılığı iyi olan 100'ün üzerinde etki büyüklüğünü test ediyoruz ve yalnızca önemli olanları rapor ediyoruz. Bu durumda, eğer tüm etkiler küçükse, önem beyan ettiğimizde yönü yanlış anlama şansımızın% 50 civarında olacağına dikkat edin.

Tabii ki, bu veri-çift katmanın ürettiği p-değerleri hala bir tuz taneleri ile gelmelidir. Genel olarak, bir etki büyüklüğü hakkında daha emin olmak için daha fazla veri toplayan insanlarla ilgili bir sorun yaşamamanız gerekirken, bu başka şekillerde kötüye kullanılabilir. Örneğin, akıllı bir PI, 100 veri noktasının tümünü aynı anda toplamak yerine, önce 50 veri noktası toplayarak, verileri analiz ederek ve önemli değilse, sonraki 50'yi toplayarak bir miktar para tasarrufu yapabileceklerini ve güçlerini artırabileceklerini fark edebilirler. . Bu senaryoda, önemini beyan etme koşulunda etkinin yönünü yanlış anlama olasılığını arttırırlar, çünkü etkinin yönünü 100 veri noktasından ziyade 50 veri noktasıyla yanlış yönlendirme olasılığı daha yüksektir.

Ve son olarak, sonuçlarını dikkate değil biz önemsiz bir sonuç olduğunda daha fazla veri alma. Bu, hiçbir zaman bilimi ileriye itmeyecek olan konu hakkında daha fazla bilgi toplamayacağı anlamına mı geliyor? Güçlü bir çalışma bütün bir alanı öldürür.

Alternatifin küçük bir priori olasılığı varsa, boş olanı reddetmeyen bir deney onu daha da azaltacak ve daha fazla araştırmayı daha düşük maliyetli hale getirecektir. Örneğin, bir priori olasılığın 0,01 olduğunu varsayalım . O zaman senin entropinin .08 bit. Olasılık 0,001'e düşerse, o zaman entropinin şimdi 0,01 olur. Bu nedenle, veri toplamaya devam etmek genellikle uygun maliyetli değildir. Maliyet etkin olmasının bir nedeni, bilmenin o kadar önemli olduğudur ki, kalan .01 bit entropinin bile azaltılmaya değer olduğu.

Diğer bir sebep ise, priori olasılığın gerçekten yüksek olmasıydı. Eğer priori olasılığınız% 50'den fazlaysa, boş değeri reddetmemek entropinizi artırarak veri toplamaya devam etmeyi daha düşük maliyetli hale getirir. Bir örnek, bir etkinin olacağından neredeyse emin olduğunuz, ancak hangi yönde olduğunu bilmediğiniz olabilir.

Örneğin, bir karşı istihbarat ajanıysanız ve bir departmanın bir köstebeği olduğundan ve onu iki şüpheli olarak daralttığınızdan ve hangisinin toplanmasının haklı olacağına karar vermek için bazı istatistiksel analizler yapıyorsanız eminseniz daha fazla veri.