Ben pek çok olumlu, önemsiz sonuçlar varsa “en azından, ben test edebilirsiniz Bu sonuçların olumlu”?

Diyelim ki 100 farklı birey için aynı gerilemeyi ayrı olarak yürüttüm. İlgilenilen katsayılarım pozitif (ve birbirinden oldukça farklı) ama 100 sonuçta da istatistiksel olarak anlamsız (her p değeri = 0.11 diyelim).

Bu p değerlerini "bu sonuçlardan en az 80'i pozitif" sonucunu p = 0.11'den daha büyük bir önemle birleştirmek için bir yol var mı? Çevrimiçi aramalarım sadece bir Fisher veya benzeri bir testle "bu sonuçlardan en az 1 tanesi pozitif" diyebileceğimi gösterdi, ancak bu sonucu genelleştiremedim. "H0 = 100 efektin hepsi 0" da "HA = en az 80 efekt pozitif" e karşı test etmek istiyorum.

Amacım ortalama olarak pozitif bir katsayı olduğunu söylemek değil, katsayıyı özel olarak ölçmek de değildir. Amacım, en az 80 kişinin, 80'inden bağımsız olarak ve her bireyin hissettiği etkinin büyüklüğüne bakılmaksızın, bireysel olarak bazı olumlu etkilerle karşılaştıklarını göstermek.

Tüm 100 analizi tek bir karma efekt modeli olarak gerçekleştirmelisiniz, ilgilenen katsayılarınız rasgele değişkenlerin kendileriyle birlikte yapılmalıdır. Bu şekilde, katsayıları için, genel ortalamaları da dahil olmak üzere, aradığınızı düşündüğüm türde bir yorum sağlayacak bir dağılımı tahmin edebilirsiniz.

Durumda olduğundan şüphelendiğimde, her bir birey için bir zaman serisine sahip olduğunuzu, ayrıca artıkların otokorelasyonunu düzeltmeniz gerekeceğini de not edin.

Yapılacak en basit şey muhtemelen bir işaret testi olacaktır. Sıfır hipotezi, her sonucun pozitif veya negatif olma olasılığına (adil bir parayı çevirmek gibi) sahip olmasıdır. Amacınız, gözlemleyebileceğiniz sonuçların bu sıfır hipotezi altında reddedebileceğiniz yeterli olup olmayacağını belirlemektir.

Adil bir madeni paradan 100 döndürmeden 80 veya daha fazla kafa elde etme olasılığı nedir? Bunu binom dağılımını kullanarak hesaplayabilirsiniz. İçinde R, ilgili işlev çağrılır pbinomve aşağıdaki kod satırını kullanarak (tek taraflı) bir p değeri alabilirsiniz:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

Bu teste göre, sezginiz doğrudur, eğer tedavinin bir etkisi olmazsa, şans eseri 80 pozitif sonuç almanız çok olası değildir.

Yakın ilişkili bir seçenek, Wilcoxon imzalı sıralama testi gibi bir şey kullanmak olacaktır .

Daha iyi bir yaklaşım, aslında etkinin boyutunu tahmin etmek istiyorsanız (sadece sıfırdan büyük olup olmadığını belirlemek yerine), muhtemelen hiyerarşik ("karışık") bir model olacaktır.

Burada, model 100 kişinin sonuçlarının bir dağılımdan geldiğini ve amacınız bu dağılımın ortalamasının nerede olduğunu (güven aralıklarıyla birlikte) görmek olduğunu söylüyor.

Karışık modeller, etki boyutlarınız hakkında biraz daha fazla şey söylemenizi sağlar: modeli taktıktan sonra, "veriler gerçek ortalama ile tutarlı olsa da, tedavimizin sonuçları ortalama üç birim iyileştirme eğiliminde olduğunu tahmin ederiz. efekt boyutu 1,5 ila 4,5 birim arasındadır, ayrıca bireyler arasında bazı farklılıklar vardır, bu nedenle belirli bir kişi -0,5 ila +6,5 birim arasında herhangi bir etki görebilir ".

Bu çok kesin ve kullanışlı bir ifade dizisidir - "etki muhtemelen ortalama olarak olumludur" dan çok daha iyi, bu yüzden bu yaklaşım istatistikçiler tarafından tercih ediliyor. Ancak tüm bu ayrıntılara ihtiyacınız yoksa, bahsettiğim ilk yaklaşım da iyi olabilir.

Belki bunu tamamen yanlış anlıyorum, ama bana öyle geliyor ki, tekrarlanan önlemler ANOVA yapmaya çalışıyorsunuz. Sadece bu "kukla" yı özne faktörü olarak tanımlayın ve model gerisini halledecektir. Önemin kendisi çok bilgilendirici değildir; gerekli ama yeterli değil; herhangi bir model, yeterince fazla sayıda gözlemle anlamlı hale gelecektir. efektinizin ne kadar büyük olduğu hakkında bir fikir edinmek için (kısmi) Eta-Squared gibi efekt boyutu elde etmek isteyebilirsiniz. Benim 2 sentim.

Sıradan bir ANCOVA hesaplaması kadar basit olabilir, ancak verilerinizi analiz etmenin uygun yolu fiziksel duruma bağlı olacaktır ve bu ayrıntıları vermediniz.