“İstatistiksel olarak anlamlı olmayan” çalışmaların meta analizi, “önemli” bir sonuca yol açabilir mi?

Bir meta-analiz, tümü 0,05'ten büyük bir P değeri bildiren birçok çalışma içerir. Genel meta-analizin 0,05'in altındaki bir P değerini bildirmesi mümkün müdür? Hangi koşullar altında?

(Cevabın evet olduğundan eminim ama bir referans veya açıklama istiyorum.)

statistical-significance meta-analysis combining-p-values

— Harvey Motulsky
kaynak

Meta-analiz hakkında pek bir şey bilmiyorum, ancak herhangi bir hipotez testini içermediği, sadece nüfus etkisinin bir tahmini olduğu izlenimini altında tutuyordum, bu durumda konuşmanın önemi yoktur.

— Kodiolog

Günün sonunda bir meta-analiz sadece ağırlıklı bir anlama geliyor. Ve kesinlikle bu ağırlıklı ortalama için bir hipotez testi kurabilirsin. Örneğin, bkz. Borenstein, Michael ve ark. "Meta-analiz için sabit-etki ve rastgele-etki modellerine temel bir giriş." Araştırma Sentezi Yöntemleri 1.2 (2010): 97-111.

— boscovich

Diğer cevaplar da iyidir, fakat basit bir durum: p = 0.9'da iki çalışma önemlidir ancak p = 0.95 değildir. İki bağımsız çalışmanın her ikisinin de p> = 0.9 gösterme olasılığı sadece 0.01, bu nedenle meta analiziniz p =

— 0.99'da

Sınırları aşın: Hiç kimse, (önemsiz) bir hipotezin küçük bir değerine sahip olması için / aleyhine yeterli kanıt sağlayamaz , ancak yeterince büyük bir ölçümler toplayabilir.

p

$p$

— Eric Towers

p- değerleri “istatistiksel olarak anlamlı” veya önemsiz bir etki göstermez. Önemli bir sonuçtan ne anlayabiliriz? Bu bir analitik sonuç mu?

— Subhash C. Davar

Yanıtlar:

Teoride evet ...

Bireysel çalışmaların sonuçları önemsiz olabilir, ancak birlikte incelendiğinde sonuçlar önemli olabilir.

Sonuçları davranarak ilerleyebilir Teoride çalışmanın başka rasgele değişken gibi. $y_i$ $i$

rastgele bir değişken olmasına izin verin (örneğin, çalışmasından elde edilen tahmin ). O zaman, bağımsız ve , ortalamayı aşağıdakilerle tutarlı bir şekilde tahmin edebilirsiniz: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

Daha fazla varsayım ekleyerek, , tahmininin varyansı . Ardından , ters değişkenlik ağırlıklandırma ile verimli bir şekilde tahmin edebilirsiniz : $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

Bu durumlarda, , bireysel tahminler olmasa bile, bazı güven düzeyinde istatistiksel olarak anlamlı olabilir. $\hat{\mu}$

AMA büyük problemler olabilir, bilinmesi gereken konular ...

Eğer sonra meta-analiz yakınsaması olmayabilir (yani meta-analiz ortalama tutarsız tahmin olan). $E[y_i] \neq \mu$ $\mu$

Örneğin, olumsuz sonuçların yayınlanmasına karşı bir önyargı varsa, bu basit meta-analiz korkunç derecede tutarsız ve önyargılı olabilir! Bir madeni para çevirme ucunun sadece inişe geçmediği klipsleri gözlemleyerek başları çıkarma olasılığını tahmin etmek gibi bir şey olurdu!
$y_i$ ve bağımsız olmayabilir. Örneğin, eğer iki çalışma ve aynı verilere dayanıyorsa, ve meta-analizde bağımsız olarak kabul etmek, standart hataları büyük ölçüde küçümseyebilir ve istatistiksel önemini . Tahminleriniz hala tutarlı olacaktır, ancak standart hataların çalışmalarda çapraz korelasyonu makul şekilde hesaba katması gerekir. $y_j$ $i$ $j$ $y_i$ $y_j$
(1) ve (2) 'nin birleştirilmesi özellikle kötü olabilir.

Örneğin, ortalama oylamaların birlikte analiz edilmesi, bireysel anketlerden daha doğru olma eğilimindedir. Ancak, ortalama oylamaların bir araya gelmesi hala ilgili hataya karşı savunmasız. Geçmişte yapılan seçimlerde ortaya çıkan bir şey, genç çıkış anket çalışanlarının yaşlılardan ziyade diğer gençlerle röportaj yapma eğiliminde olabileceğidir. Tüm çıkış anketleri aynı hatayı yaparsa, iyi bir tahmin olduğunu düşündüğünüz kötü bir tahmininiz vardır (çıkış anketleri ilişkilidir çünkü çıkış anketleri yapmak için aynı yaklaşımı kullanırlar ve bu yaklaşım aynı hatayı oluşturur).

Kuşkusuz, meta-analize daha aşina olan insanlar daha iyi örnekler, daha ayrıntılı konular, daha karmaşık tahmin teknikleri vb. Bulabilirler ... ama bu, en temel teoriye ve daha büyük sorunlara bazılarına bakar. Farklı çalışmalar bağımsız, rastgele hata yaparsa, meta-analiz inanılmaz derecede güçlü olabilir. Hata çalışmalarda sistematik ise (örneğin herkes eski seçmen vb. Sayılırsa), çalışmaların ortalaması da kapalı olacaktır. İlişkili çalışmaların ne kadar ilişkili olduğunu ya da korelasyondaki hataların hafife alındığını tahmin ederseniz, toplam örneklem büyüklüğünüzü etkin bir şekilde tahmin eder ve standart hatalarınızı hafife alırsınız.

Tutarlı tanımlamalar vb. Her türlü pratik sorun da vardır.

— Matthew Gunn
kaynak

Etki büyüklükleri arasındaki bağımlılıkları görmezden gelmek için bir meta-analizi eleştiriyorum (yani, birçok etki büyüklüğü aynı katılımcılara dayanıyordu, ancak bağımsız olarak değerlendirildi). Yazarlar biggie olmadığını söylüyor, biz zaten moderatörler ile ilgileniyoruz. Burada belirttiğiniz noktayı işaret ediyorum: "meta-analizde bağımsız olarak kabul etmek, standart hataları büyük ölçüde küçümseyebilir ve istatistiksel öneme sahip olabilir." Bunun neden böyle olduğunu gösteren bir kanıt / simülasyon çalışması var mı? İlişkili hataların zayıf tahmin edilen SE anlamına geldiğini söyleyen birçok referansım var ... ama nedenini bilmiyorum?

— Mark White,

@MarkWhite Temel fikir, . Tüm Eğer elimizdeki ve için o ve standart . Diğer taraftan, kovaryans terimleri pozitif ve büyükse, standart hata daha büyük olacaktır.

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— Matthew Gunn,

@MarkWhite Ben bir meta-analiz uzmanı değilim ve dürüst olmak gerekirse, bir insanın modern, meta-analizini nasıl yapması gerektiği için neyin harika bir kaynak olduğunu bilmiyorum . Kavramsal olarak, aynı veriler üzerinde analizin çoğaltılması kesinlikle yararlıdır (bazı dersleri yoğun şekilde çalışarak olduğu gibi), ancak yeni, bağımsız konular üzerinde bir bulgu üretmek gibi değildir.

— Matthew Gunn

Ah, yani kelimeler: Bir etki büyüklüğünün toplam varyansı (a) değişkenliğinden ve (b) diğer etki büyüklükleriyle kovaryansından kaynaklanmaktadır. Kovaryans 0 ise, standart hata tahmini iyi olur; fakat eğer diğer etki büyüklükleriyle kovaryon yaparsa, bu varyansı hesaba katmamız gerekir ve bunu gözardı etmek, varyansı hafife aldığımız anlamına gelir. Varyans, iki bölüm A ve B'den oluşur ve bağımlılıkları göz ardı etmek, B bölümünün değilken 0 olduğunu varsayar mı?

— Mark White

Ayrıca, bu iyi bir kaynak gibi görünüyor (özellikle Kutu 2'ye bakınız): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Mark White

Evet. bağımsız çalışmalardan p değerine sahip olduğunuzu varsayalım . $N$ $N$

Fisher testi

(EDIT - aşağıda @ mdewey'nin yararlı yorumuna cevap olarak, farklı meta testleri arasında ayrım yapmak önemlidir. Aşağıda mdewey tarafından belirtilen başka bir meta testi durumunu açıklarım)

Klasik Fisher meta testi (bakınız Fisher (1932), "Araştırmacılar İçin İstatistiksel Yöntemler" ) istatistik bir null dağılımına sahip , düzgün bir rv için olarak .

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

Let ifade -quantile boş dağıtım. $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

Tüm p değerlerinin eşit olduğunu varsayalım , burada, muhtemelen . Daha sonra, ve zaman Örneğin, ve , tek tek değerlerinin yalnızca değerden küçük olması gerekir $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Tabii ki, meta istatistik testlerinin "sadece" "toplam" olması, tüm bireysel null değerlerinin doğru olduğunu ve null değerlerinden sadece birinin yanlış olduğu anda reddedilecek olan null olduğunu gösterir. $N$

DÜZENLE:

İşte karşı "kabul edilebilir" p-değerlerinin bir komplodur , onaylar yetişen en kapalı seviyeye görünse de, . $N$ $c$ $N$ $c\approx0.36$

dağılımı miktarları için bir üst sınır buldum burada , böylece yukarıdan ile arasında sınırlandırılır . Şöyle bağlı bu makul keskin görünmektedir. $\chi^2$

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Ters Normal testi (Stouffer ve ark. 1949)

Test istatistiği ile verilir ile standart normal niceliksel işlev. Test, büyük negatif değerler için, yani, eğer , olduğunda reddeder . Dolayısıyla, , . Tüm , ve dolayısıyla olarak . Eğer , herhangi kabul bölgedeki değerleri alacaktır . Dolayısıyla, meta testin olarak reddedilmesi için, 0'dan küçük bir ortak p değeri yeterlidir.

Z = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} Φ^{- 1} (p_{i})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$ .

Daha spesifik olarak, eğer , aşağıda olarak eğilim gösterirse, ise . $Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— Christoph Hanck
kaynak

+1 ve vay! bile olsa bir üst sınır olmasını beklemiyordum .

1 / e

$1/e$

— amip diyor Reinstate Monica

Teşekkürler :-).

— Araziyi görmeden

İlginçtir ki, Fisher kaynaklı yöntem bu özelliğe sahip yaygın olarak kullanılan yöntemlerden sadece bir tanesidir. Diğerlerinin çoğu için F dediğiniz şey, eğer $ c> 0.5 ise N ile artar ve aksi takdirde azalır. Bu Stouffer'ın metodu ve Edgington'un metodu ile loglara dayanan ve p'nin ortalamaları için geçerlidir. Wilkinson'ın yönteminin özel durumları olan çeşitli yöntemler (minimum p, maksimum p, vb.) Yine farklı özelliklere sahiptir.

— mdewey

@mdewey, bu gerçekten ilginç, sadece Fisher'ın testini seçtim çünkü ilk önce aklıma geldi. Yani, "sadece bir tane" ile, spesifik sınır anlamına mı geliyorsunuz ? Düzenlememde hecelemeye çalıştığım yorumlarınız, bana Stouffer'ın yönteminin aynı zamanda 0,5 olduğu ortaya çıkan bir üst sınırı da olduğunu gösteriyor.

1 / e

$1/e$

— Christoph Hanck

Ben bir hafta daha bu işe gitmek için zaman var gitmiyorum ama on çalışmalar varsa bence Eğer genel bir olsun hiç farketmez olarak birliğine yakın olarak. Burada tek yönlü ve iki taraflı bir sorun olabilir. Daha fazla materyale bakmak istersen, istersen cevabını genişletmek için kullanmakta özgürsün, R paketim <code> metap </code> 'a gitmek için fazladan bir taslak taslağım var .

p = 0.9

$p=0.9$

p

$p$

— mdewey

Bunun cevabı, -değerlerini birleştirmek için hangi yöntemi kullandığınıza bağlıdır . Diğer cevaplar bunlardan bazılarını ele aldı, ancak burada asıl soruya verilen cevabın hayır olduğu bir yönteme odaklanıyorum. $p$

Tippett'in metodu olarak da bilinen minimum metodu genellikle boş hipotezin seviyesindeki bir reddetme ile tanımlanır . çalışmaları için tanımlayın . Tippett'in yöntemi daha sonra $p$ $\alpha_*$

p_{[1]} \leq p_{[2]} \dots p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

O zamandan bu yana görmek kolaydır birlik daha sıkı bir birlik son dönem daha büyük olduğu daha az sayıda th kök sürece ve dolayısıyla toplam sonucu olmayan önemli olacaktır zaten az olan daha . $k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

Kritik değeri hesaplamak mümkündür ve örneğin, her biri 00.05 değerlerine sahip on birincil çalışmamız varsa , genel kritik değer 0,40 olabilir. Metodu, Wilkinson yöntemin özel bir durum olarak görülmektedir için ve primer çalışmalar özellikle kümesi için aslında daha önemli değildir ( ) $p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

LHC Tippett'in metodu bir kitapta açıklanmıştır. İstatistik metotları. 1931 (1. baskı) ve Wilkinsonun yöntemdir burada bir makalede "psikolojik araştırmalarda bir istatistik hesap"

— mdewey
kaynak

Teşekkürler. Ancak, çoğu meta-analiz yönteminin efekt boyutlarını (örneklem büyüklüğündeki herhangi bir farkı hesaba katarak) birleştirdiğini ve P değerlerini birleştirmediğini unutmayın.

— Harvey Motulsky

@HarveyMotulsky, p-değerlerini birleştirmenin son çare olduğunu kabul etti, ancak OP sorusunu birleştirme-p-değerleri etiketiyle etiketledi, bu yüzden o ruhla cevap verdim

— mdewey

Bence cevabın doğru.

— Subhash C. Davar