Bence sorunuzu düşünürken boş hipotez anlamlılık testi (NHST) hedefini / satış noktalarını aklınızda tutmaya çalışırsanız, bunun yardımcı olacağını düşünüyorum; istatistiksel çıkarım için sadece bir paradigma (çok popüler olmasına rağmen) ve diğerleri de kendi güçlü yanlarına sahipler (örneğin, burada , Bayesian çıkarımına göre NHST tartışması için buraya bakınız ). NHST'nin en büyük nesi nedir?: Uzun süreli hata kontrolü . Eğer NHST kurallarına uyarsanız (ve bazen bu çok büyükse), o zaman uzun vadede yaptığınız çıkarımlarda ne kadar yanlış olacağınıza dair iyi bir fikre sahip olmalısınız.
NHST'in titizlik kurallarından biri, test prosedürünüzde herhangi bir değişiklik yapmadan ilgilendiğiniz teste yalnızca bir göz atmanızdır. Uygulamada Araştırmacılar genellikle gözardı (ya farkında değildir) bu kural (bkz Simmons ve ark., 2012), veri dalgaları ekleyerek onların kontrol ettikten sonra birden testlerp- Modellerine değişkenler ekledikten / çıkardıktan sonra değerler, vb. Bununla ilgili sorun, araştırmacıların NHST sonuçlarına göre nadiren nötr olmalarıdır; önemli sonuçların, önemli olmayan sonuçlardan daha fazla yayınlanma ihtimalinin daha yüksek olduğunun farkındadır (hem yanlış yönlendirilmiş hem de meşru olan nedenlerden dolayı; Rosenthal, 1979). Bu nedenle araştırmacılar sıklıkla veri eklemek / model değiştirmek / aykırı değer seçmek ve önemli bir etkiyi "açığa çıkarmak" için tekrar tekrar test etmek için motive olurlar (bkz. John et al., 2011, iyi bir giriş).
Bir sezgilere aykırı sorun Dienlerin güzel bir şekilde tarif yukarıdaki uygulamalarla, tarafından oluşturulur (2008): önemi sıklıkla (yanlış pozitif bulgular daha sonra istedikleri uzun dönem hata oranlarını elde edilene kadar araştırmacılar onların örnek / tasarım / modelleri ayar tutacak eğer ) ve false-negatif bulgular (genellikle ) sırasıyla 1.0 ve 0.0'a yaklaşacaktır (yani , hem yanlış olduğunda hem de doğru olduğunda her zaman reddedersiniz ).α=.05β=.20H0
Özel sorularınız bağlamında, araştırmacılar etkinin yönüne ilişkin özel tahminlerde bulunmak istemediklerinde varsayılan olarak iki kuyruklu testleri kullanırlar. Tahminlerinde yanlışlarsa ve etki yönünde tek kuyruklu bir test yaparlarsa, uzun süreli şişirilir. Tanımlayıcı istatistiklere bakarlarsa ve trendin gözbebeklerine dayanarak tek kuyruklu bir test yaparlarsa, uzun vadeli şişirilecektir. Uygulamada, değerlerinin uzun vadeli anlamlarını yitirdiklerini çok büyük bir sorun olmadığını düşünebilirsiniz , ancak anlamlarını koruyamazlarsa, niçin çıkarım için bir yaklaşım kullandığınız sorusu akla gelir. uzun süreli hata kontrolüne öncelik verir.α pααp
Son olarak (ve kişisel tercih meselesi olarak), önce iki kuyruklu bir test yaptıysanız, önemsiz bulduktan sonra ilk kuyruklu testi uyguladıysanız, tek kuyruklu testi yaptıysanız ve daha az sorun yaşardım. başka bir örneklemde bu etkinin kesin onaylayıcı bir çoğaltmasını yaptıysanız (ve eğer sadece), çoğaltmayı aynı makalede yayınladıysanız, bunun anlamlı olduğunu tespit ettiniz. Keşifsel veri analizi - hata oranı şişiren esnek analiz uygulamasıyla - aynı analitik esneklik olmadan etkinizi yeni bir örnekte çoğaltabildiğiniz sürece, sorun yoktur.
Referanslar
Dienes, Z. (2008). Psikolojiyi bir bilim olarak anlama: Bilimsel ve istatistiksel çıkarıma giriş . Palgrave Macmillan.
John, LK, Loewenstein, G. ve Prelec, D. (2012). Şüpheli araştırma uygulamalarının yaygınlığının, doğru söylemeye yönelik teşviklerle ölçülmesi. Psikolojik bilim , 23 (5), 524-532.
Rosenthal, R. (1979). Dosya çekmecesi sorunu ve boş sonuçlar için tolerans. Psikolojik bülten , 86 (3), 638.
Simmons, JP, Nelson, LD, ve Simonsohn, U. (2011). Yanlış-pozitif psikoloji: Veri toplama ve analizinde açıklanmayan esneklik, önemli olan her şeyi sunmaya izin verir. Psikolojik bilim , 22 (11), 1359-1366.