İstatistiksel bir hakemi nasıl rahatsız edebilirim?

Kısa bir süre önce bildirilerdeki istatistikleri gözden geçirme hakkındaki genel prensiplerle ilgili bir soru sordum . Şimdi sormak istediğim, bir makaleyi gözden geçirirken özellikle sizi rahatsız eden şey, yani istatistiksel bir hakemi gerçekten sinirlendirmenin en iyi yolu nedir!

Cevap başına bir örnek lütfen.

Beni özellikle kişisel olarak rahatsız eden şey , kullanıcı tarafından yazılan paketleri istatistiksel yazılımlar için açıkça kullanan ancak bunları uygun şekilde veya hiç alıntılamayan, dolayısıyla yazarlara herhangi bir kredi veremeyen insanlar. Bunu yapmak özellikle yazarlar akademi'deyken ve işleri alıntı yapılan makalelerin yayınlanmasına bağlı olduğunda önemlidir . (Belki de kendi alanımda suçluların çoğunun istatistikçi olmadığını eklemeliyim.)

Tanrı aşkına, aklıma gelen pek çok şey var ...

• Kademeli regresyon

• Sürekli verileri gruplara ayırma

• P-değerleri verilmesi ancak etki büyüklüğü ölçüsü yok

• Verilerin simetrik ve unimodal olup olmadığını belirten ortalama ve standart sapmayı kullanarak verileri tanımlama

• Net altyazısız rakamlar (bu hata çubukları ortalamanın standart hataları mı, yoksa gruplar içindeki standart sapmalar mı, yoksa ne?)

Irene Stratton ve meslektaşı yakından ilgili bir soru hakkında kısa bir bildiri yayınladı:

Stratton IM, Neil A. Gazeteni sağlamak için nasıl istatistiki gözden geçiren tarafından reddedilir . Diyabetik Tıp 2005; 22 (4): 371-373.

Simüle edilmiş sonuçları üretmek için kullanılan kod sağlanmamıştır. Kodu istedikten sonra, hakem tarafından oluşturulan veri setinde çalışmasını sağlamak için ek çalışma talep eder.

İntihal (teorik veya metodolojik). İlk derlemem, aslında 10 yıl önce yayınlanan köklü bir metodolojik makaleden pek çok referansı olmayan kopyala / yapıştır işlemi yapan bir yazıydı.

Bu konuyla ilgili birkaç ilginç makale buldum: Bilimde yazarlık ve intihal .

Aynı şekilde, tahrifat (veri veya sonuç) ile ilgili en kötüsünü buldum .

Yazarlara sorduğumuzda

1. Elimizdeki bir fikir hakkında ufak bir yorum (bu anlamda, makalenin reddedilmesinin bir nedeni olarak düşünülmedi, ancak yazarların başka bir POV'yi tartışabildiklerinden emin olmak için) veya
2. net olmayan veya çelişen sonuçlar,

ve yazarların (1) gerçekten cevap vermemesi veya (2) 'deki suçlu sonuçların MS’ten kaybolması durumunda cevap vermemesi.

Kafa karıştırıcı p-değerleri ve etki büyüklüğü (yani etkimi belirtmek çok büyük çünkü çok küçük bir p-değerim var).

Stephan'ın efekt boyutlarını dışlama ancak p-değerleri verme yanıtından biraz farklıdır . İkisini birden vermelisin (ve farkı umarım anlarsın!).

Efekt boyutları dahil değil.

Araştırmanın her yerine katılıyor (en sevdiğim lisansüstü profesörümü bu hat için ödünç almam gerekiyor).

Kanıtlanmış sayılarda haneler vermek (erkekler kadınlardan 3.102019 lira kazandılar)

Sayfa numaraları dahil değil (bu, incelemeyi zorlaştırır)

Yanlış numaralar ve tablolar

(daha önce de belirtildiği gibi - adım adım ve sürekli değişkenleri kategorilere ayırma)

Analizlerini yeterince açıklamıyorlarsa ve / veya gerçekte ne yapıldığını çözmeyi zorlaştıran basit hatalar içerdiklerinde. Bu genellikle, yazarın farkedildiğinden daha fazla belirsiz olan ve aynı zamanda kötüye kullanılabilecek bir açıklama yoluyla, çok sayıda jargon atmayı da içerir.

İhmal edilen değişkenlerin gözlemsel verilerdeki ilişkileri tanımlamak için nedensel dili kullanmak neredeyse kesinlikle ciddi bir endişe kaynağıdır.

Yazarlar bildikleri bir istatistiksel testi kullandığında (benim alanımda, genellikle bir t testi veya bir ANOVA), uygun olup olmadığına bakılmaksızın, reklam sonsuzdur. Kısa bir süre önce, yazarların bir düzine farklı tedavi grubunu karşılaştırmak istedikleri bir makaleyi gözden geçirdim, bu yüzden olası her bir tedavi çifti için iki örnekli bir t testi yaptılar ...

Mevcut kavramlar için yeni sözcükler geliyor veya tam tersini, farklı bir şeyi belirtmek için mevcut terimleri kullanıyorsunuz.

Mevcut terminoloji farklılıklarından bazıları literatürde uzun süredir yer almaktadır: Biyoistatistikte uzunlamasına veriler ve ekonometride panel verileri; sosyolojideki sebep-sonuç göstergeleri - psikolojideki biçimlendirici ve yansıtıcı göstergeler; Onlardan hala nefret ediyorum, ama en azından kendi edebiyatlarında her birine birkaç bin referans bulabilirsin. Bunlardan en sonuncusu nedensel literatürdeki yönlendirilmiş asiklik grafikler üzerindeki bu çalışma dizisidir: çoğu, hepsi olmasa da, bunlardaki tanımlama ve tahmin teorisinin çoğu, 1950'lerde eşzamanlı denklemler adı altında ekonomistler tarafından geliştirilmiştir.

Üçlü değil, iki katına çıkanlar, "sağlam" terimdir ve farklı anlamlar genellikle çelişkilidir. "Sağlam" standart hatalar çok fazla abartı için sağlam değildir; dahası, modelden varsayılan sapma dışında hiçbir şeye karşı dayanıklı değildirler ve genellikle küçük örneklem performansları düşüktür. White'ın standart hataları, seri veya küme korelasyonlarına karşı sağlam değildir; SEM'deki "sağlam" standart hatalar, model yapısının yanlış tanımlanmasına (atlanmış yollar veya değişkenler) karşı güçlü değildir. Tıpkı boş hipotez anlamlılık testi fikrinde olduğu gibi, herhangi bir kimseye parmağını işaret etmek ve "Gerçekten ismini anlamayan bu kavramı ortaya koymak için birkaç araştırmacı neslinin kafasını karıştırmaktan sorumlusunuz" deyin.

Eksik verilerin sıfır değerlendirilmesi.

Birçok pratik uygulama, en azından bazı kayıp değerleri olan verileri kullanır. Bu epidemiyolojide kesinlikle çok doğru. Eksik veriler, doğrusal modeller de dahil olmak üzere birçok istatistiksel yöntem için sorun sunar. Doğrusal modellerde eksik olan veriler çoğu zaman tüm değişkenlerde eksik veriler bulunan vakaların silinmesi ile ele alınmaktadır. Bu, tamamen Tamamen Rastgele Eksik (MCAR) verilerinin eksik olduğu varsayımı altında veriler olmadığı sürece bir sorundur.

Belki de 10 yıl önce, ek bir kaygı gözetmeksizin doğrusal modellerden sonuçların yayınlanması mantıklıydı. Bundan kesinlikle suçluyum. Bununla birlikte, istatistiki paketler / modeller / kütüphaneler / vb. Gibi, eksik verilerle nasıl başa çıkılacağına ilişkin çok iyi bir öneride bulunuldu. eksiklik olduğunda daha makul varsayımlar altında daha uygun analizleri kolaylaştırmak.

Önemine yaklaşan (örneğin, p <.10) etkilerini rapor etmek ve daha sonra, daha katı ve kabul edilebilir bir düzeyde önem kazanmış gibi onlar hakkında yazmak İyi kurulmuş bir analitik strateji alıp bunu daha önce hiç kimsenin kullanmayı düşünmüyormuş gibi sunması belki de birinci derece intihal niteliğindedir.

Aşağıdaki iki makaleyi öneririm:

Martin Bland:
İstatistiği Hakem Nasıl Düşürür
Bu, Martin Bland tarafından verilen ve diğer istatistiksel hakemlerden ('düşük cevap oranına sahip kolaylık örneği') gelen bir dizi görüşmeye dayanmaktadır. İstatistiği hakem üzmekten kaçınmak için 11 puanlık bir liste ile sona erer.

Stian Lydersen:
İstatistiksel inceleme: sık verilen yorumlar
Bu son makale (2014/2015 tarihinde yayınlanmıştır), yazarın yaklaşık 14 yorumuna dayanarak yazarın en yaygın 14 yorumunu listeler. Bilimsel makalelerin 200 istatistiki değerlendirmesi (belirli bir dergide). Her açıklamaya nasıl sorunu ve talimatların kısa bir açıklama vardır düzgün analiz / raporlama yapmak. Atıfta bulunulan referansların listesi ilgi çekici makalelerin bir hazinesidir.

Test verilerinin bağımsız olmadığı öngörücü modellerin genelleştirme hatasını hedefleyen "doğrulama" beni en çok (ve en sık) rahatsız ediyorum (örneğin, tipik olarak verilerde, önyükleme dışı veya çapraz doğrulama bölme ölçümlerinde veri başına hasta başına çoklu ölçümler) hastalar ).

Daha da sinir bozucu olan, böyle hatalı çapraz onaylama sonuçları veren belgeler artı çapraz onaylamanın genel önyargısını gösteren bağımsız bir test setinin yanı sıra çapraz onaylamanın tasarımının yanlış olduğu tek bir kelime değil ...

(Aynı veri sunulduysa çok mutlu olurdum "çapraz onaylamanın hastaları ayırması gerektiğini biliyoruz, ancak buna izin vermeyen bir yazılımla sıkışıp kaldık. Bu nedenle, gerçekten bağımsız bir test hastası grubunu test ettik. ")

(Ayrıca bootstrapping = değiştirme ile yeniden örneklemenin genellikle çapraz doğrulamadan daha iyi performans gösterdiğinin de farkındayım = değiştirme olmadan yeniden örnekleme. Bununla birlikte, çapraz doğrulamayı tekrarlayan / yineleyen spektroskopik verilerde (simüle edilmiş spektrumlar ve hafif yapay model kurulumu ancak gerçek spektrumlar) bulduk önyüklemenin genel belirsizliği benzerdi, oob daha fazla önyargıya sahipti, ancak daha az sapma vardı - yeniden değerlendirme için, buna çok pragmatik bir bakış açısıyla bakıyorum: tekrarlanan çapraz onaylama ve önyükleme dışına çıkma pek çok makale olmadığı sürece önemli değil ne hastaya göre bölünmüş ne de sınırlı test örneği büyüklüğünden dolayı rastgele belirsizliği rapor et / tartış / bahset.)

Bunun yanlış olmasının yanı sıra, uygun bir onaylama yapan kişilerin, sonuçlarının neden literatürdeki diğer sonuçlardan daha kötü olduğunu savunmaları gerektiği yan etkisi de vardır.

Tekil anlamda "veri" kullanımı. Veri ARE, asla değildir.

Bana göre, nedensel bir analiz yapılmaksızın veya yanlış bir nedensellik çıkarımı olması durumunda sebep göstermektir.

Ayrıca, eksik verilerin nasıl işlendiğine hiç dikkat edilmemesinden nefret ediyorum. Yazarların sadece vaka analizini tamamladıkları ve sonuçların eksik değerleri olan nüfusa genelleştirilip genleştirilemeyeceği veya eksik değerlere sahip popülasyonun tam veriler içeren popülasyondan sistematik olarak nasıl farklı olabileceğinden hiç söz etmeyen çok sayıda makale görüyorum.

LaTeX yerine Microsoft Word'ü kullanma.