Yayınlanan p değerlerinin p <.05'teki dağılımındaki süreksizlik nedir?

Son bir makalede , Masicampo ve Lalande (ML) birçok farklı çalışmada yayınlanmış çok sayıda p değeri topladı. P-değerlerinin histogramında% 5 kanonik kritik seviyede meraklı bir sıçrama gözlemlediler.

Wasserman'in blogunda bu ML Phenomena hakkında güzel bir tartışma var:

http://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/

Blogunda histogramı bulacaksınız:

% 5 seviyesi bir sözleşme ve bir doğa yasası olmadığı için , yayınlanan p değerlerinin ampirik dağılımındaki bu davranışa ne sebep olur?

Seçim yanlılığı, kanonik kritik seviyenin hemen üzerindeki p-değerlerinin sistematik olarak “ayarlanması” ya da ne?

(1) @PeterFlom tarafından daha önce de belirtildiği gibi, bir açıklama "dosya çekmecesi" sorunuyla ilgili olabilir. (2) @Zen ayrıca, yazar (lar) ın verileri veya modelleri manipüle ettiği veya değiştirdiği durumdan bahsetti (örneğin, veri tarama ). (3) Ancak, hipotezleri tamamen rastgele bir temelde test etmiyoruz. Yani, hipotezler tesadüfen seçilmez, fakat (az çok güçlü) teorik varsayımımız vardır.

Ayrıca, yakın zamanda sözde "kaliper testi" olarak adlandırılan alanda araştırma yapan Gerber ve Malhotra'nın çalışmaları da ilginizi çekebilir:

• İstatistiksel Raporlama Standartları Yayınlananları Etkiliyor mu? İki Öncü Siyaset Bilimi Dergisinde Yayın Yanlılığı

• Ampirik Sosyolojik Araştırmalarda Yayın Yanlılığı: İsteğe Bağlı Önem Düzeyleri Yayınlanan Sonuçları Bozuyor mu?

Ayrıca, Andreas Diekmann tarafından düzenlenen bu özel sayıya da ilgi duyabilirsiniz:

• Ekonomi ve Sosyal Bilimlerde Metodolojik Eserler, Veri İşleme ve Dolandırıcılık

Şimdiye kadar eksik olan bir argüman araştırmacıların özgürlük derecesi olarak bilinen veri analizinin esnekliğidir. Her analizde, alınacak birçok karar vardır, temel kriterleri nereye koyacağınız, verilerin nasıl dönüştürüleceği ve ...

Bu yakın zamanda Simmons, Nelson ve Simonsohn'un etkili bir makalesinde gündeme geldi:

Simmons, JP, Nelson, LD, ve Simonsohn, U. (2011). Yanlış-Pozitif Psikoloji: Veri Toplama ve Analizde Açıklanamayan Esneklik, Önemli Olan Herşeyi Sunmaya İzin Verir. Psikolojik Bilimler , 22 (11), 1359-1366. DOI: 10,1177 / 0956797611417632

(Bunun, Sosyal Psikolojide yakın zamanda tespit edilmiş bazı veri dolandırıcılık vakalarından sorumlu olan Simonsohn'un aynı olduğunu unutmayın, örneğin, röportaj , blog yazısı )

Bence zaten söylenmiş olan her şeyin bir birleşimi. Bu çok ilginç bir veri ve daha önce bunun gibi p-değer dağılımlarına bakmayı düşünmedim. Boş hipotez doğruysa, p-değeri tekdüze olur. Ancak elbette yayınlanan sonuçlarla pek çok sebepten dolayı bir tekdüzelik görmeyiz.

1. Çalışmayı yapıyoruz çünkü sıfır hipotezinin yanlış olmasını bekliyoruz. Dolayısıyla, önemli sonuçlardan çok sık sık elde etmeliyiz.

2. Eğer sıfır hipotezi sadece zamanın yarısı yanlış olsaydı, p-değerlerinin düzgün bir dağılımını elde edemezdik.

3. Dosya çekmecesi sorunu: Belirtildiği gibi, p değeri anlamlı olmadığında, örneğin 0,05'in altında kağıt göndermekten korkarız.

4. Yayıncılar, göndermeyi seçmemize rağmen, önemli olmayan sonuçlardan dolayı makaleyi reddedeceklerdir.

5. Sonuçlar sınırda olduğunda, önem kazanması için (belki de kötü niyetli olmayan) şeyler yapacağız. (a) p değeri 0,053 olduğunda 0,05'e yuvarlanır, (b) aykırı değerler olduğunu düşündüğümüz gözlemleri bulur ve bunları değiştirdikten sonra p değeri 0,05'in altına düşer.

Umarım bu, makul şekilde anlaşılabilir bir şekilde söylenen her şeyi özetler.

İlgilendiğim şey p-değerleri 0,05 ile 0,1 arasında gördüğümüz. Eğer yayın kuralları p'nin değeri 0.05'ten büyük olan herhangi bir şeyi reddetmiş olsaydı, sağ kuyruk 0.05'te kesilirdi. Aslında 0,10'da kesildi mi? öyleyse belki bazı yazarlar ve bazı dergiler 0.10 önem seviyesini kabul eder ancak daha yüksek bir şey kabul etmez.

Birçok makale birkaç p-değeri (çokluk için ayarlanmış veya değil) içerdiğinden ve önemli testler önemli olduğu için makale kabul edildiğinden listede önemli olmayan p-değerleri görebiliriz. Bu, “Histogramda yer alan yazılı tüm p-değerleri bildirildi mi?” Sorusunu gündeme getirdi.

Ek bir gözlem, p-değeri 0,05'in çok altına düştüğünde, yayınlanan makalelerin sıklığında yukarı doğru önemli bir eğilim olduğudur. Belki de bu, p <0.0001 p-değeri düşüncesini geçersiz kılan yazarların bir göstergesidir, yayına çok daha layıktır. Bence yazar, p değerinin, etki büyüklüğünün büyüklüğünde olduğu kadar örneklem büyüklüğüne bağlı olduğunu görmezden geliyor ya da anlamıyor.