Tekrar deneylerin hangi kısmının, ilk deneyin% 95 güven aralığında bir etki büyüklüğü olacaktır?

Rastgele örnekleme, Gauss popülasyonları, eşit varyanslar, P-hackleme vb.İle ideal bir duruma geçelim.

Adım 1. İki numune aracının karşılaştırıldığı bir deneme çalıştırın ve iki popülasyon aracı arasındaki fark için% 95 güven aralığı hesaplayın.

2. Adım. Çok daha fazla deneme (binlerce) gerçekleştirirsiniz. Ortalamalar arasındaki fark, rastgele örnekleme nedeniyle deneyden deneye değişecektir.

Soru: Adım 2'de deneylerin toplanmasından elde edilen ortalamalar arasındaki farkın ne kadarı adım 1'in güven aralığı içinde olacaktır?

Bu cevaplanamaz. Her şey 1. adımda neler olduğuna bağlıdır. 1. adım deneyi çok atipikse, sorunun cevabı çok düşük olabilir.

Bu nedenle, her iki adımın da birçok kez tekrarlandığını düşünün (adım 2 ile daha fazla kez tekrarlayın). Şimdi, tekrar deneylerin ortalama bir kısmının, ilk denemenin% 95 güven aralığı içinde ortalama bir etki büyüklüğüne sahip olması için bir beklenti bulmak mümkün olabileceğini düşünüyorum.

Şu anda çok sıcak bir alan olan çalışmaların tekrarlanabilirliğini değerlendirmek için bu soruların cevabının anlaşılması gerektiği anlaşılıyor.

analiz

Bu kavramsal bir soru olduğundan, basitlik için güven aralığının ortalama yapıda olmasıdır kullanılarak gelişigüzel bir örnek, büyüklüğü ve bir ikinci rasgele numune büyüklüğü alınır aynı Normal arasından, dağıtım. (Sizin gibi değiştirebilir durumunda Öğrenci gelen değerlere göre ler dağılımı serbestlik derecesi, aşağıdaki analiz değişmez.)[ ˉ x ( 1 ) + Z α / 2 s ( 1 ) / $1-\alpha$μx(1)nx(2)m(μ,σ2)Ztn-

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$$n$$x^{(2)}$$m$$(\mu,\sigma^2)$$Z$$t$$n-1$

İkinci örneğin ortalamasının birincisi tarafından belirlenen CI içinde olma şansı

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

İlk örnek ortalaması ilk örnek standart sapması den bağımsız olduğu için (bu normallik gerektirir) ve ikinci örnek birinciden bağımsız olduğundan, örnek U'daki fark bağımsızdır . Ayrıca, bu simetrik aralık için . Bu nedenle, rastgele değişken için yazma ve her iki eşitsizliği kareleme, söz konusu olasılık aynı$\bar x^{(1)}$$s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$$S$$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

Beklenti yasaları, ortalaması ve varyansı anlamına gelir$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

Yana normal değişkenlerin doğrusal bir kombinasyonudur, bu da normal bir dağılıma sahiptir. Bu nedenle, olduğu kez değişken. Biz zaten biliyorduk olduğu kere değişken. Sonuç olarak, , dağılımına sahip bir değişkenin katıdır . Gerekli olasılık F dağılımı tarafından şu şekilde verilir:$U$$U^2$$\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$$\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

Tartışma

İlginç bir durum, ikinci örneğin birinciyle aynı boyutta olması, böylece ve sadece ve olasılığı belirler. İşte için karşı çizilen değerleri .$n/m=1$$n$$\alpha$$(1)$$\alpha$$n=2,5,20,50$

Grafikleri, her bir sınır değere yükselir olarak artar. Geleneksel test boyutu dikey gri bir çizgi ile işaretlenmiştir. değerleri için için sınırlama şansı yaklaşık .$\alpha$$n$$\alpha=0.05$$n=m$$\alpha=0.05$$85\%$

Bu sınırı anlayarak, küçük örneklem boyutlarının ayrıntılarını gözden geçireceğiz ve konunun temelini daha iyi anlayacağız. Olarak büyürse, dağılımı yaklaşımlar dağıtım. Standart Normal dağılım , olasılık yaklaşık olarak$n=m$$F$$\chi^2(1)$$\Phi$$(1)$

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

Örneğin, , ve . Sonuç olarak, arttıkça eğrilerin ulaştığı sınırlayıcı değer . için neredeyse ulaşıldığını görebilirsiniz (şansın olduğu yerde ).$\alpha=0.05$$Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$$\Phi(-1.386) \approx 0.083$$\alpha=0.05$$n$$1 - 2(0.083) = 1 - 0.166=0.834$$n=50$$0.8383\ldots$

Küçük İçin , ilişkisi ve tamamlayıcı olasılık - CI getirmeme riskini değil , ikinci ortalama kapak - neredeyse mükemmel bir güç yasasıdır. $\alpha$$\alpha$ Bunu ifade etmenin başka bir yolu da log tamamlayıcı olasılığının fonksiyonunun neredeyse doğrusal bir fonksiyonudur . Sınırlayıcı ilişki yaklaşık olarak$\log\alpha$

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

Büyük diğer bir deyişle, ve geleneksel değere yakın bir yerde , yakın olacak$n=m$$\alpha$$0.05$$(1)$

$$1 - 0.166 (20\alpha)^{0.557}.$$

(Bu bana /stats//a/18259/919 adresinde yayınladığım örtüşen güven aralıklarının analizini hatırlatıyor . Gerçekten de, oradaki sihirli güç, , neredeyse sihirli gücün karşılıklı Bu noktada , . Bu noktada, bu analizi, deneylerin tekrarlanabilirliği açısından yeniden yorumlayabilmelisiniz.)$1.91$$0.557$

---

Deneysel sonuçlar

Bu sonuçlar basit bir simülasyonla doğrulanır. Aşağıdaki Rkod, kapsama sıklığını, ile hesaplanan şansı ve ne kadar farklı olduklarını değerlendirmek için bir Z skoru döndürür . Z skorları, tipik olarak daha az olan bağımsız olarak, boyut olarak (ya da hatta olup ya da , formül doğruluğunu gösteren Cl hesaplanır), .$(1)$$2$$n, m, \mu, \sigma, \alpha$$Z$$t$$(1)$

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[WHuber'ın işaret ettiği hatayı düzeltmek için düzenlendi.]

T dağılımını kullanmak için @ Whuber'ın R kodunu değiştirdim ve örnek boyutunun bir fonksiyonu olarak kapsamı çizdim. Sonuçlar aşağıdadır. Yüksek örneklem büyüklüğünde sonuçlar elbette WHuber ile eşleşir.

Ve burada adapte edilmiş R kodu, alfa 0.01 veya 0.05'e ayarlanmış olarak iki kez çalıştırılır.

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

İşte grafiği yapan GraphPad Prism dosyası.