Akademik makalelerde yayınlanan istatistikler

Bazı evrimsel / ekolojik akademik makaleleri okudum, bazen istatistiklerin 'gerçek dünyada' ders kitabının dışında nasıl kullanıldığını görmek amacıyla. Normalde kağıtları istatistik olarak müjde olarak alıyorum ve kağıtları istatistiksel olarak öğrenmeme yardımcı olmak için kullanıyorum. Ne de olsa, bir makale yazmak yıllar aldı ve titiz bir meslektaş incelemesinden geçmişse, o zaman kesinlikle istatistikler son derece sağlam olacak mı? Ancak son birkaç gün içinde varsayımımı sorguladım ve akademik makalelerde yayınlanan istatistiksel analizin ne kadar sıklıkla şüpheli olduğunu merak ettim. Özellikle, ekoloji ve evrim gibi alanlardaki alanların daha az zaman öğrenme istatistiği ve alanlarını öğrenmek için daha fazla zaman harcaması beklenebilir.

İnsanlar akademik gazetelerde şüpheli istatistiklerden ne sıklıkta yararlanıyor?

Ne de olsa, bir makale yazmak yıllar aldı ve sıkı akran incelemesinden geçmişse, o zaman kesinlikle istatistikler son derece sağlam olacak mı?

Çeşitli alanlarda (siyaset bilimi, ekonomi bilimi, psikoloji, tıp, biyoloji, finans, aktüerya bilimi, muhasebe, optik, astronomi ve diğerleri) istatistiklerini uygulama girişiminde bulunduğum belgeleri okuma deneyimim; İstatistiksel analiz, mükemmel ve iyi yapılmışdan korkunç saçmalıklara kadar spektrumun herhangi bir yerinde olabilir. Bahsettiğim alanların her birinde iyi analizler gördüm ve neredeyse hepsinde oldukça kötü analizler yaptım.

Bazı dergiler genellikle oldukça iyidir ve bazıları daha çok gözleri kapalı bir şekilde dart oynamak gibi olabilir - birçoğunu hedeften çok uzakta değil, duvarda, zeminde ve tavanda birkaç tane olacak. Ve belki de kedi.

Herhangi bir suçluyu isimlendirmeyi planlamıyorum, ancak hatalı istatistik kullanımına dayanan akademik kariyer gördüğümü söyleyeceğim (örneğin, aynı hataların ve yanlış anlamaların kağıttan sonra, on yıldan fazla bir süre boyunca makalede tekrarlandığı yerlerde).

Bu yüzden benim tavsiyem, okuyucunun dikkatli olmasına izin vermek ; Editörlerin ve hakemlerin ne yaptıklarını bildiklerine güvenmeyin. Zaman içinde, hangi yazarların çok şok edici bir şey yapmama konusunda genel olarak güvenilebileceğini ve hangilerinin özellikle ateşli bir şekilde ele alınması gerektiğini iyi bir şekilde anlayabilirsiniz. Bazı dergilerin istatistikleri için genellikle çok yüksek standartlara sahip olduklarını hissedebilirsiniz.

Ancak, tipik olarak iyi bir yazar bile hata yapabilir veya hakemler ve editörler normalde bulabilecekleri hataları tespit edemezler; genellikle iyi bir dergi uluyan yayınlayabilir.

[Bazen, gerçekten kötü makalelerin ödülleri veya ödülleri kazandığını bile görürsünüz ... ki bu da ödülü değerlendiren kişilerin kalitesi için fazla bir şey ifade etmiyor.]

Gördüğüm "kötü" istatistiklerin ne kadarının olduğunu tahmin etmek istemem (çeşitli alanlarda ve soruyu tanımlamanın her aşamasında, araştırmanın tasarımı, veri toplama, veri yönetimi, ... analizler ve sonuçlar), fakat kendimi rahat hissetmeme yetecek kadar küçük değil.

Örnekleri gösterebilirdim, ama bunun için doğru forum olduğunu sanmıyorum. (Orada eğer iyi olurdu oldu muhtemelen oldukça hızlı "politize" son derece olmak ve yakında amacına hizmet etmek başarısız olur, sonra tekrar aslında, bunun için iyi bir forum ama.)

Bazı zamanları PLOS ONE'dan geçerek geçirdim ... ve yine, belirli gazetelere işaret etmeyeceğim. Dikkatimi çeken bazı şeyler: Büyük miktarda kağıdın içinde istatistik var, muhtemelen yarısından fazlası hipotez testlerine sahip görünüyor. Başlıca tehlikeler , her biri üzerinde <0,05 gibi yüksek değerine sahip çok sayıda test gibi görünmektedir (bu, oldukça az sayıda gerçekten küçük efektlerin tesadüfen önemli olduğunu gösterdiği sürece otomatik olarak bir sorun değildir) veya inanılmaz bir şekilde düşük güç sağlama eğiliminde olacak düşük bireysel önem düzeyi. Ayrıca yaklaşık yarım düzine farklı testin yapıldığı birkaç vaka gördüm.$\alpha$görünüşe göre aynı soruyu çözmek için uygulandı. Bu beni genel olarak kötü bir fikir olarak vurguluyor. Genel olarak standart birkaç düzine makalede oldukça iyiydi, fakat geçmişte orada kesinlikle korkunç bir kağıt gördüm.

[Belki de dolaylı olarak sadece bir örnekte şımartın. Bu soru , birinin oldukça şüpheli bir şey yapmasını ister. Gördüğüm en kötü şeyden çok uzak.]

Öte yandan, insanların analizlerini kabul ettirmek için her türlü gereksiz çembere atlamak zorunda kaldıkları (daha sık) vakaları da görüyorum; yapılabilecek mükemmel makul şeyler kabul edilmez, çünkü bir gözden geçirene, editör veya denetçiye göre veya sadece belirli bir alanın söylenmemiş kültüründe yapmanın "doğru" bir yolu vardır.

@ Glen_b'in burada doğru cevap verme konusundaki duruşuna saygı duyuyorum (ve kesinlikle ondan uzaklaşmayı düşünmüyorum), ama evime yakın, özellikle eğlenceli bir örneğe işaret etmekte oldukça direnemiyorum. Bir şeyleri siyasallaştırma ve bu sorunun amacını kötüye kullanma riski altında, Wagenmakers, Wetzels, Boorsboom ve Van Der Maas ^{_{(2011) 'i}} öneriyorum . Ben Bilişsel Bilimler beta SE (bununla ilgili bir yazı bu atıf Nasıl bilişsel bilim alıcılarında uzak manasallığa ve beyin fonksiyonlarını açıklar? "Dart kedi vurma" bir başka örneğini dikkate). Wagenmakers ve meslektaşları makalesi doğrudan gerçek bir "uluyan" üzerine yorum yaptı: Psikoloji alanındaki en büyük dergilerden biri olan JPSP'de yayınlandı.) birkaç yıl önce. Ayrıca, daha genel olarak Bayesci analiz lehine ve bu:

Tartışmalı bir iddianın şüpheci izleyicisini ikna etmek için, kişinin kesin olarak doğrulayıcı çalışmalar yapması ve sonuçları liberal olmaktan ziyade muhafazakar istatistiksel testlerle analiz etmesi gerekmektedir.

Muhtemelen, bunun tam olarak koroya vaaz vermekle karşılaşmadığını söylememe gerek yok. FWIW, aynı zamanda bir çürütücü var ^{_{( Bayesanlar}} ve sık ^{_{görüşmeler}} arasında her zaman olduğu gibi görünüyor; ^{_{( Bem, Utts, & Johnson, 2011 )}} , ancak tartışmaları tam olarak kontrol etmediğini hissediyorum .

Bilimsel bir topluluk olarak psikoloji, kısmen bu ve diğer yüksek profilli metodolojik eksikliklerden dolayı, son zamanlarda bir parça replikasyona başladı. Buradaki diğer yorumlar, bir zamanlar sosyal nörobilimde voodoo korelasyonu olarak bilinenlere benzer durumlara işaret etmektedir ( politik olarak yanlış BTW için bu nasıl bir makale olarak yeniden düzenlenmiştir; ^{_{Vul, Harris, Winkielman ve Pashler, 2009}} ). Bu da son derece tartışmalı uygulamalarla ilgili daha fazla tartışma için kontrol edebileceğiniz, onun çürütme çekti .

Kötü davranış gösteren (sözde) istatistikçilerin (daha duyarsızlaştırılmış) pahasına daha fazla eğlence için, şu anda özgeçmişinde (kuşkusuz) siyasal olarak yanlış bir başlık olan CV'de " ortak istatistik günahları nedir? " @MikeLawrence, ilhamını psikoloji ve istatistik konusundaki paralel çalışmasına bağlar. Bu benim kişisel favorilerimden biri ve buradaki cevaplar, sayısız tuzaktan kaçınmanız için çok yararlı.

Kişisel tarafta, son beş ayımın çoğunu burada büyük ölçüde harcıyorum çünkü belirli veri analitik soruları hakkında sağlam istatistikler almak inanılmaz derecede zor. Açıkçası, akran incelemesi, özellikle karmaşık sorular ve epistemik komplikasyonları olan genç bilimlerde yapılan araştırmaların istatistiksel incelemesi açısından genellikle çok titiz değildir. Dolayısıyla, kendi işimde yöntemleri parlatmada kişisel sorumluluk alma gereği duydum.

İken benim tez araştırmaları tanıtan , ben istatistik inceleme için önemli kişisel sorumluluktur nasıl bir his var. Alma materyalimdeki iki istisnai psikolog, korelasyon yorumlarımdaki en temel günahlardan birini yaptığımı söyledi. Kendimi bunun üzerinde düşünmüştüm ve birkaç kez bunun hakkında lisans dersleri vermiştim, ama yine de oraya gittim ve çağrıldım (erken saatlerde, şükürler olsun). Oraya gittim çünkü inceleme ve çoğaltma araştırmaları oraya gitti! Böylece bitirme tezime birkaç bölüm ekledim. Bu, diğer araştırmacıları yarı deneysel uzunlamasına çalışmalardan (bazen enine kesitsel korelasyonlardan bile) ve nedenselliği varsaymak için ve alternatif açıklamaları önceden görmezden gelmeleri için çağırdı.

Bitirme tezim, başka bir istisnai psikometri ve SPSP’nin (JPSP’yi yayınlayan) SPSP’nin başkanı olacak komitesi tarafından revize edilmeden kabul edildi. O zamandan beri , dış inceleme sürecini mükemmel bir şekilde gözden geçiren kişilerle geçirmemize rağmen, birkaç tavşan deliğini kendi yöntemimle delmeyi başardım . Şimdi, SEM, IRT ve parametrik olmayan analizler gibi Likert derecelendirmelerinin prediktif modellemesi için daha uygun yöntemler kullanmaya çalışırken istatistiklerin sonlarına düştüm ( Boyut küçültmeden sonra Regresyon testi bölümüne bakınız).). Yıllarca muhtemelen sadece olduğu gibi yayınlayabileceğim bir kağıda geçirmeyi gönüllü olarak seçiyorum ... Sanırım bilinçli bir şekilde ilerlemeden önce yapacak bir simülasyon çalışmam bile var.

Yine de bunun isteğe bağlı olduğunu vurguluyorum - belki aşırı abartılı ve hatta erken kariyer çalışma kayıtlarında kalitenin miktarını vurgulayan yayın ya da yok etme kültürünün ortasında pahalı bir lüks. Sürekli veriler için parametrik modellerin sıralı verilerin varsayım ihlal eden dağılımlarına yanlış uygulanması, alanımda, istatistiksel açıdan yanlış yorumlama ve yanlış beyan etme gibi oldukça yaygındır (bkz . P-değerlerinin yerleşik görüşlerini alma ). Ondan tamamen kurtulabilirdim (kısa vadede) ... ve bundan daha iyisini yapmak o kadar da zor değil. Sanırım R programlarında son birkaç yıldır inanılmaz gelişmeler var, bunun için teşekkür ederim! İşte zamanın değişeceğini umuyoruz.

^{Kaynaklar
· Bem, DJ, Utts, J., & Johnson, WO (2011). Psikologlar verilerini analiz etme şeklini değiştirmeli mi? Kişilik ve Sosyal Psikoloji Dergisi, 101 (4), 716-719. Http://deanradin.com/evidence/Bem2011.pdf adresinden alındı .
· Vul, E., Harris, C., Winkielman, P., ve Pashler, H. (2009). FMRI duygu, kişilik ve sosyal biliş çalışmalarında şaşırtıcı derecede yüksek korelasyonlar. Psikolojik Bilime Bakış Açıları, 4 (3), 274-290. Http://www.edvul.com/pdf/VulHarrisWinkielmanPashler-PPS-2009.pdf adresinden alındı .
·Wagenmakers, EJ, Wetzels, R., Borsboom, D. ve Van der Maas, H. (2011). Psikologlar neden verilerini analiz etme yöntemlerini değiştirmeliler: psi örneği. Kişilik ve Sosyal Psikoloji Dergisi, 100 , 426-432. Http://mpdc.mae.cornell.edu/Courses/MAE714/Papers/Bem6.pdf adresinden alındı .}

Üniversitede birkaç yıl sosyal bilgiler öğrencisinin farklı günlerde (biri 1'i aldı), bir avuç veri noktası olan projeleri için nasıl ortalama çalışmalarını istediklerini sorduğumu hatırlıyorum. (Yani, bir hesap makinesiyle matematiğin nasıl yapılacağı kavramıyla, yazılımı kullanmada problemleri yoktu.)

Ne tür bir ortalama istediklerini sorduğumda bana sadece boş görünüyorlar.

Yine de, hepsinde olduğu gibi raporlarında bazı istatistikler koyma ihtiyacı duyuyorlardı, çünkü sonuçta istatistiklerin ne anlama geldiğini düşünmeden istatistiklerini içeren 101 makale okuduklarını umuyorum.

Onlara 3 yıl boyunca eğitim veren araştırmacının, öğrencilere herhangi bir anlayışı damlatacak istatistiklerin doğruluğunu önemsemediği açıktır.

(O zamanlar bir bilgisayar öğrencisiydim. Bunu bir yorum için biraz uzun olduğu için cevap olarak gönderiyorum.)

Neyse ki eksik olan bir liste olarak, 1) fizik makalelerinde, ardından 2) istatistik makalelerinde ve 3) tıbbi gazetelerde en sık kullanılan istatistikleri buluyorum. Bunun nedenleri açık ve prototipik modelin her alanda uyguladığı şartların eksiksizliği ile ilgili.

Fizik belgelerinde, denklemler ve uygulamalı istatistikler, dengeli birimlere dikkat etmek ve en sık nedensel ilişkilere sahip olmak ve fiziksel standartlara karşı test etmek zorundadır.

İstatistiklerde, 1) birimler ve nedensellik bazen göz ardı edilir, varsayımlar bazen sezgiseldir ve fiziksel test çok sık görmezden gelinir, ancak eşitlik (veya eşitsizlik), yani mantık, ikincisinin düzeltemeyeceği endüktif bir yol boyunca korunur fiziksel olmayan varsayımlar.

Tıpta, tipik birimler göz ardı edilir, denklemler ve varsayımlar tipik olarak sezgiseldir, tipik olarak denenmemiş ve sıklıkla sahtedir.

Doğal olarak, istatistik mekaniği gibi bir alanın, ekonomi konusunda söyleyebileceğimiz varsayımsal varsayımlara sahip olma olasılığı daha yüksektir ve bu, potansiyel yazarların bu alanlardaki yeteneklerini yansıtmaz. Yapılmakta olanın ne kadarının gerçekten test edilebilir olduğu ve tarihsel olarak her alanda ne kadar test yapıldığı ile ilgilidir.

Boş sıfır hipotezini çürüten herhangi bir makale değersiz istatistikler kullanıyor (gördüğümlerin büyük çoğunluğu). Bu işlem, etki büyüklüğü tarafından henüz sağlanmayan hiçbir bilgi sağlayamaz. Ayrıca, önemli bir sonucun aslında araştırmacı tarafından teorik olan nedenden kaynaklanıp kaynaklanmadığı hakkında hiçbir şey söylemez. Bu, karışıklık kanıtı için verilerin dikkatlice incelenmesini gerektirir. Çoğu zaman, eğer mevcutsa, bu kanıtların en güçlüsü “aykırı” olarak bile atılır.

Evrim / ekolojiye pek aşina değilim, ancak psişik ve tıbbi araştırmalarda, istatistiksel olarak anlaşılması gereken seviyeye "ciddi karıştı" ve "bilimsel ilerlemenin önündeki engel" diyeceğim. İnsanların, teorilerinin öngördüğü bir şeyi, bunun tersini değil (sıfır fark / etki) ispatladığı düşünülmektedir.

Bu konuda yazılmış binlerce makale var. NHST hibrit tartışmasına bakın.

Düzenleme: Boş sıfır hipotez anlamlılık testinin en fazla sıfır bilimsel değere sahip olduğunu kastediyorum. Bu kişi kafasına çiviyi vuruyor:

http://www.johnmyleswhite.com/notebook/2012/05/18/criticism-4-of-nhst-no-mechanism-for-producing-substantive-cumulative-knowledge/

Ayrıca: Paul Meehl. 1967. Psikoloji ve Fizikte Kuram Testleri: Metodolojik Bir Paradoks

Düzenleme 3:

Birisi yok düşünme gerektiren Strawman NHST yararlılığı lehine argümanlar varsa "ısınma oranı aynı olduğunu hipotezini reddetmek, ancak ısınma oranı aynı olmadığını ima etmek bunu al YAPMAYIN" rasyonel olduğunu ifadesi, yorumlarınızı memnuniyetle karşılardım.

4'ü Düzenle:

Fisher aşağıdaki alıntı ile ne demek istedi? "Model / teori A verilerle uyuşmuyorsa, A'nın yanlış olduğunu, A'nın doğru olup olmadığına dair hiçbir şey olmadığını " söyleyebilir mi?

“Bilimsel çalışanlara yapılan istatistiksel testlerin ilgisinin, tamamen gözlemlerle uyumsuz olduğu düşünülen hipotezleri reddetmedeki kullanımlarından tamamen emin olduğu kesin.”

...

Bu nedenle, anlamlılık testlerinin genel olarak anlam testlerinin, doğru kullanıldığında, verilerle çelişkili olduğu sürece, hipotezleri reddetme veya geçersiz kılma kabiliyetine sahip olduğu anlaşılırsa, dikkate alındığı açıklığa büyük ölçüde ekleyecektir. ; ama hiçbir zaman onları kesinlikle doğru olarak belirleyemediklerini

İstatistiksel Testlerde Karl Pearson ve RA Fisher: Doğadan 1935 Değişimi

İnsanların kamıştan ziyade sadece mantıklı hipotezleri geçersiz kılmaya çalışacağını mı sanıyor? Yoksa yanlış mıyım?