Bir priori güç analizi esasen işe yaramaz mı?

Geçtiğimiz hafta Kişilik ve Sosyal Psikoloji Derneği toplantısına katıldım ; Uri Simonsohn tarafından örneklem büyüklüğünü belirlemek için priori güç analizi kullanmanın sonuçların varsayımlara karşı çok duyarlı olduğu iddiasıyla bir konuşma gördüm.

Tabii ki, bu iddia benim yöntemler sınıfımda öğretildiklerime ve birçok önde gelen metodolojistin tavsiyelerine (en önemlisi Cohen, 1992 ) tavsiyelerine aykırıdır . Aşağıdaki bu kanıtların bir kısmını yeniden yaratmaya çalıştım.

Basit olması için, iki gözlem grubunuzun olduğu bir durumu hayal edelim ve etki büyüklüğünün (standartlaştırılmış ortalama farkıyla ölçüldüğü gibi) olduğunu tahmin edelim . Standart bir güç hesaplaması ( aşağıdaki paketi kullanarak yapılır ), bu tasarımla% 80 güç elde etmek için gözlem yapmanız gerektiğini söyleyecektir .$.5$Rpwr$128$

require(pwr)

size <- .5
# Note that the output from this function tells you the required observations per group
# rather than the total observations required
pwr.t.test(d = size, 
           sig.level = .05, 
           power = .80, 
           type = "two.sample", 
           alternative = "two.sided")

Ancak, genellikle, etkinin beklenen büyüklüğü hakkındaki tahminlerimiz (en azından benim çalışma alanım olan sosyal bilimlerde) sadece bu - çok kaba tahminlerdir. O zaman etkinin büyüklüğü hakkındaki tahminimiz biraz azalırsa ne olur? Hızlı bir güç hesaplama etkinin büyüklüğü ise söyleyen yerine ihtiyacınız - gözlemleri Eğer bir etki boyutu için yeterli güce sahip gerekir ki kat sayı . Etkinin büyüklüğü ise Aynı şekilde, , sadece ihtiyaç gözlem, sen bir etki büyüklüğünü tespit etmek için yeterli güce sahip gerekir ne% 70.5. 200 1.56 .5 .6. 90 $.4$$.5$$200$$1.56$$.5$$.6$$90$$.50$. Pratik olarak konuşursak, tahmin edilen gözlemlerdeki aralık oldukça geniştir - - .$90$$200$

Bu sorunun bir cevabı, etkinin büyüklüğünün ne olabileceği konusunda kesin bir tahminde bulunmak yerine, etkinin büyüklüğü hakkında geçmiş literatür veya pilot testler yoluyla kanıt toplamanızdır. Elbette, pilot testler yapıyorsanız, pilot testinizin, çalışmayı çalıştırmak için gereken örnek boyutunu belirlemek için çalışmanızın bir sürümünü çalıştırmadığınızdan yeterince küçük olmasını istersiniz (örneğin, Pilot testinde kullanılan örneklem büyüklüğünün çalışmanızın örnek büyüklüğünden daha küçük olmasını isteyin).

Uri Simonsohn, güç analizinizde kullanılan etki büyüklüğünü belirlemek amacıyla yapılan pilot testlerin faydasız olduğunu savundu. Çalıştığım aşağıdaki simülasyonu göz önünde bulundurun R. Bu simülasyon, popülasyon etki büyüklüğünün olduğunu varsayar . Daha sonra 40'lık boyutta "pilot testi" yapar ve önerilen , 10000 pilot testinin her birinde sıralar.1000 $.5$$1000$$N$

set.seed(12415)

reps <- 1000
pop_size <- .5
pilot_n_per_group <- 20
ns <- numeric(length = reps)

for(i in 1:reps)
{
  x <- rep(c(-.5, .5), pilot_n_per_group)
  y <- pop_size * x + rnorm(pilot_n_per_group * 2, sd = 1)
  # Calculate the standardized mean difference
  size <- (mean(y[x == -.5]) - mean(y[x == .5])) / 
          sqrt((sd(y[x == -.5])^2 + sd(y[x ==.5])^2) / 2)

  n <- 2 * pwr.t.test(d = size,
                      sig.level = .05, 
                      power = .80,
                      type = "two.sample", 
                      alternative = "two.sided")$n

  ns[i] <- n
}

Aşağıda bu simülasyonu temel alan bir yoğunluk grafiği bulunmaktadır. Görüntünün daha iyi yorumlanabilmesi için üzerinde bir takım gözlemler öneren pilot testlerden 204'ünü . Simülasyonun daha az aşırı sonuçlarına odaklanmakla birlikte , pilot test tarafından önerilen büyük farklılıklar vardır .500 N s $204$$500$$Ns$$1000$

Tabii ki, varsayım sorununa olan duyarlılığın, birinin tasarımı daha karmaşık hale geldikçe daha da kötüleştiğinden eminim. Örneğin, rastgele etkiler yapısının özelliklerini gerektiren bir tasarımda, rastgele etkiler yapısının doğası tasarımın gücü için çarpıcı etkilere sahip olacaktır.

Peki, bu argüman hakkında ne düşünüyorsunuz? Bir priori güç analizi esasen işe yaramaz mı? Öyleyse, araştırmacılar çalışmalarının boyutunu nasıl planlamalı?

Buradaki temel mesele, doğrudur ve istatistiklerde oldukça iyi bilinmektedir. Ancak, yorumu / iddiası aşırıdır. Tartışılması gereken birkaç konu var:

$N$$\sqrt N$$N$$50\%$$80\%$$d$$d$$d = .5$$N = 128$$\approx 7.9\%$$\approx 5.5\%$$.1$$\approx 16.9\%$$.1$$\approx 12.6\%$

$d$

$80\%$

İkincisi, güç analizlerinin (a-priori veya başka bir şekilde) varsayımlara dayandığına dair daha geniş bir iddia ile ilgili olarak, bu tartışmanın ne yapılacağı açık değildir. Tabii ki yaparlar. Diğer her şey de öyle. Bir güç analizi yapmamak, yalnızca şapkadan seçtiğiniz bir sayıya dayanarak bir miktar veri toplamak ve ardından verilerinizi analiz etmek durumu iyileştirmeyecektir. Ayrıca, sonuçta ortaya çıkan analizleriniz, tüm analizlerin (güç veya başka türlü) her zaman olduğu gibi, hala varsayımlara bağlı olacaktır. Bunun yerine, veri toplamaya devam edeceğinize ve onları beğeneceğiniz bir resim elde edene ya da yorulmayacak şekilde yeniden analiz etmeye karar verirseniz, bu çok daha az geçerli olacaktır (ve konuşmacıya görünmeyecek varsayımlar gerektirecektir. bu yine de var). Basitçe söylemek gerekirse,Araştırma ve veri analizinde varsayımların yapıldığı gerçeğinin bir yolu yoktur .

Bu ilgi kaynaklarını bulabilirsiniz:

• Kraemer, HC, Mintz, J., Noda, A., Tinklenberg, J., ve Yesavage, JA (2006). Çalışma teklif güç hesaplamalarını rehberlik etmek üzere pilot çalışmalardan kullanımına ilişkin Dikkat , Genel Psikiyatri, 63 Arşivleri , 5, s. 484-489.

• Uebersax, JA (2007). Bayesian Koşulsuz Güç Analizi. http://www.john-uebersax.com/stat/bpower.htm