Sosyal bilimlerde yayınlanmış çoğu korelasyon güvenilmez mi ve bu konuda ne yapılmalı? [kapalı]

9

Yırtıcı dergilerin uygulamalarını ortaya koymak için bireylerin "gotcha" -istik çabalarının önemli fakat şapırtılı çabalarına rağmen , sosyal bilim araştırmalarının gölgesinde daha büyük ve daha temel bir tehdit ortaya çıkıyor ( ancak araştırmacıların ele alması gereken çok sayıda sorun var olsa da ). Doğrudan bir noktaya gelmek için, bir görüşe göre, 250'den küçük örneklerden türetilen korelasyon katsayılarına güvenemeyebiliriz .

Sosyal bilimdeki ölçütler arasındaki ilişkinin varlığını, yönünü ve gücünü güvenilir korelasyon katsayısından daha fazla çıkarmak için daha fazla güvenilen bir test bulmak zor olabilir. Bununla birlikte, 250'den az vakanın bulunduğu verilerden hesaplanan korelasyon katsayılarına dayanarak iki yapı arasındaki ilişki hakkında güçlü iddialarda bulunan hakemli raporlar bulmak zor olmayacaktır .

Sosyal bilimlerle karşı karşıya olan mevcut çoğaltma krizi göz önüne alındığında (yukarıdaki ikinci bağlantıya bakınız), korelasyon katsayılarının sadece büyük örneklerde (en azından bazı sosyal bilim alan standartlarına göre) dengelenmesine ilişkin bu raporu nasıl görmeliyiz? Hakemli sosyal bilim araştırmalarının duvarındaki bir başka çatlak mı yoksa sunumunda aşırıya kaçan nispeten önemsiz bir mesele mi?

Bu soruya tek bir doğru cevap muhtemelen gelmediği için, bunun yerine bu soru ile ilgili kaynakların paylaşılabileceği, düşünülebilir olarak değerlendirilebileceği ve tartışılabileceği bir konu oluşturmayı umuyorum.

correlation methodology publication-bias

— Matt Barstead
kaynak

Bunun görüşe dayalı bir soru olduğunu ve sitenin genel yönergelerine uyduğunu biliyorum. Gerçek şu ki, çok sayıda insan bu siteye, istatistiklere ilişkin anlayışlar için geliyor; bunlar, aramaya çalıştıkları tekniklerin doğasında bulunan tuzakların daha iyi anlaşılması da dahil. Umudum, bu geniş soruyu ortaya koyarken, kuşkusuz bu belirsiz hedefe yardımcı olabilirim. Standart bir hatayı hesaplamayı öğrenmek bir şeydir. Sözde kanıta dayalı bir karar alırken onu kullanmanın ne anlama geldiğini öğrenmek başka bir şeydir.

— Matt Barstead

Daha da kötüsü, bu “zorunlu 250” davaların nasıl seçildiğidir. Giderek daha sık görüyorum, birisi sosyal medya sitesinde bir kağıt veya tez için ihtiyaç duyduğu bir anketi tamamlamak için bir dilekçe gönderdi. Anket konusu ile tamamlayın. Kişinin kendi kendini nasıl seçeceğini tamamen bilmiyor. Birinin sosyal grubundaki insanlar rastgele olmadığından rastgele örneklere güle güle, genellikle benzer ideolojik / politik / ekonomik gruplara aittir ve ayrıca konuya ne kadar ilgi duyduklarına göre kendi kendine seçim yaparlar. İçin Cue "% 90 X yanayız" kayıtsız olanlar gönüllü olmadım sırf.

— vsz

7

Tahmini gerçek korelasyon katsayıları için güven aralıkları ekleme doğru yönde küçük (ve çok basit) ilk adım olacaktır. Genişliği anında örnek korelasyonunuzun hassasiyeti hakkında bir izlenim verir ve aynı zamanda yazarın ve aynı zamanda izleyicinin yararlı hipotezleri test etmesine izin verir . Sosyal bilimlerden istatistikçilerle konuşurken (veya başka bir sınırın) üzerinde mutlak bir örnek korelasyon katsayısının anlamlı olduğu düşünülüyordu. Aynı zamanda çalışma hipotezini test ediyorlardı $\rho$ $L = 0.3$ $\rho \ne 0$ . Bu önemsizdir. Neden çok küçük bir nüfus korelasyon katsayısı aniden anlamlı olarak değerlendirilmeli? "Doğru" çalışma hipotezi . İçin bir güven aralığı sahip sadece aralığı tamamen üzerinde yer almaktadır kontrol: el, bu gibi hipotezler kolaylıkla test edilebilir (veya altında ) ile bile bir "önemli" istatistiksel ilişkiyi İstem olup olmadığını bilmek nüfus. $|\rho| > L$ $\rho$ $L$ $-L$

Elbette sadece bir güven aralığı eklemek ve anlamlı testler kullanmak çok fazla sorunu çözmeyecektir (kötü örnekleme tasarımları, karışıklıkların göz ardı edilmesi gibi). Ama temelde ücretsiz. Sanırım SPSS bile hesaplayabilir!

— Michael M
kaynak

1

Gerçekten de, SPSS bunu yapabilirse ... Daha ciddi bir kayda göre, sanırım CI'lara vurgu yapma fikri çok mantıklı. Meta-analitik çabalara da yardımcı olacaktır. Ek olarak, sanki p değerleri yerine CI'leri bildirmek, Bayesci bir yaklaşımın sıkça yaklaştığı bir şey gibi görünüyor. Her zaman Bayes modellerinin, tek bir örnekten türetilen bir popülasyon parametresi için maksimum olası tahmini bulmak yerine tahminlerin bir dağılımını modellemeye odaklandıklarından "daha dürüst hissetme" eğilimi olduğunu düşündüm.

— Matt Barstead

4

As Michael M notları , bildirilen korelasyonlar güvenilirliğinden - ya da başka bir tahmininin - güven aralıkları kullanılarak değerlendirilebilir. Bir dereceye kadar. Veri toplandıktan sonra modeller seçildiyse CI'ler çok dar olacaktır, bu da sosyal bilimlerde zamanın yaklaşık% 95'ini olacağını tahmin ediyorum (dürüstçe belirtmek gerekirse benim tam bir tahminimdir).

Çözüm iki yönlüdür:

Bir "Tekrarlanabilirlik Böylece, başarısız çoğaltmalar bize orijinal etkinin muhtemelen rastgele bir gürültü olduğunu bildirir. Daha fazla çoğaltma yapmamız (ve finanse etmemiz, yazmamız, göndermemiz ve kabul etmemiz gerekir). Çoğaltma çalışmaları yavaş yavaş saygınlık kazanıyor ve bu da iyi bir şey.
İkinci çözüm elbette meta-analiz. Biz de benzer verilerin birçok bildirilen korelasyonları varsa, bunların her biri düşük olsa bile , o zaman bilgiyi havuzu ve bir şeyler öğrenebilir. İdeal olarak, $n$ yayın yanlılığı süreç içerisinde.

— Stephan Kolassa
kaynak

@Stephen, soru: "çoğaltma" ne demek, orijinal çalışmayı çoğaltmak için aynı verileri veya farklı verileri kullanmalıdır? Çoğaltma ve tekrarlanabilirlik arasında bir fark var mı?

— tahminci

İlk olarak, son birkaç yılın tekrarlanabilirlik cephesinde gerçek bir hareket gördüklerini düşünüyorum. Bir gelecek bölüm Ben davranışsal bilim alt disiplinlerde çok sayıda iyi çevirir düşünüyorum duygu araştırmacılar için bazı tavsiyelerde bulunmaktadır.

— Matt Barstead

@forecaster: Bağımsız olarak toplanan yeni verilerle bir çoğaltma yapılmalıdır, aksi takdirde yeni bir şey öğrenemezsiniz . "Tekrarlanabilirlik" karşılaştığım bir terim değil. Tabii ki, her zaman başkasının böylece orijinal yayın yeteri kadar ayrıntılı olup olmadığı konusunda soru var olabilir aslında analizi tekrarlayın.

— Stephan Kolassa