Bu soru bir açısından @Greg Kar tarafından verilen bir cevap tepki olarak söz ben lojistik regresyon ve SAS ile güç analizi ile ilgili sorulan Proc GLMPOWER.

Bir deney tasarlıyorsam ve sonuçları bir faktöriyel lojistik regresyonda analiz edersem, bir güç analizi yapmak için simülasyonu (ve burada ) nasıl kullanabilirim ?

İki değişkenin olduğu basit bir örnek, ilk üç olası değeri {0.03, 0.06, 0.09} alır ve ikincisi yapay bir göstergedir {0,1}. Her biri için, her kombinasyon için yanıt oranını tahmin ediyoruz (yanıt verenlerin sayısı / pazarlanan kişi sayısı). Dahası, ilk faktörlerin birçoğunun diğerlerinin 3 katı (eşit olarak kabul edilebilir) olmasını istiyoruz çünkü bu ilk kombinasyon bizim denenmiş ve gerçek versiyonumuz. Bu, bağlantılı soruda belirtilen SAS kursunda verilen gibi bir kurulumdur.

Sonuçları analiz etmek için kullanılacak model, ana etkileri ve etkileşimi olan lojistik bir regresyon olacaktır (yanıt 0 veya 1'dir).

mod <- glm(response ~ Var1 + Var2 + I(Var1*Var2))

Güç analizi yapmak için bu modelle kullanılacak bir veri setini nasıl simüle edebilirim?

Bunu SAS ile çalıştırdığımda Proc GLMPOWER( p'nin gösterilen yanıtlama oranlarının ağırlıklı ortalaması olduğu STDDEV =0.05486016 anlamına gelir sqrt(p(1-p))):

data exemplar;
  input Var1 $ Var2 $ response weight;
  datalines;
    3 0 0.0025  3
    3 1 0.00395 1
    6 0 0.003   1
    6 1 0.0042  1
    9 0 0.0035  1
    9 1 0.002   1;
run;

proc glmpower data=exemplar;
  weight weight;
  class Var1 Var2;
  model response = Var1 | Var2;
  power
    power=0.8
    ntotal=.
    stddev=0.05486016;
run;

Not: GLMPOWERsadece sınıf (nominal) değişkenleri kullanacak, bu nedenle yukarıdaki 3, 6, 9 karakter olarak değerlendirilir ve düşük, orta ve yüksek veya diğer üç karakter olabilir. Gerçek analiz yapıldığında, Var1 sayısal olarak kullanılacaktır (ve herhangi bir eğriliği hesaba katan bir polinom terimi Var1 * Var1 içerecektir).

SAS’tan çıktı

Böylece, örnek büyüklüğümüzün (Var2 ana etkisinin tahmin edilmesi en zor olan) 762,112'ye ihtiyaç duyduğumuzu görüyoruz ki, 0,80 ve alfa 0,05'e eşit. Bunları 3 kez taban çizgisi kombinasyonu (yani 0,375 * 762112) olduğu ve kalanın da diğer 5 kombinasyona eşit olarak düştüğü şekilde tahsis edeceğiz.

Ön Bilgiler:

• $N$$ES$$\alpha$

  • $N$$\alpha=.05$
  • $N$

• @ GregSnow'un mükemmel yayınına ek olarak , CV üzerinde simülasyon tabanlı güç analizleri için gerçekten harika bir rehber burada bulunabilir: İstatistiksel gücün hesaplanması . Temel fikirleri özetlemek için:

  1. tespit edebilmek istediğiniz etkiyi çözmek
  2. Bu olası dünyadan N veri üretmek
  3. bu sahte veriler üzerinde yapmayı düşündüğünüz analizi yapın
  4. seçtiğiniz alfaya göre sonuçların 'anlamlı' olup olmadığını saklayın
  5. $B$$N$
  6. $N$

• $p$$p$$B$$p$$B$

• R'de verilen 'başarı' olasılığına sahip ikili veri oluşturmanın birincil yolu ? Rbinom'dur.

  • Örneğin, olasılıklı p olan 10 Bernoulli denemesinden elde edilen başarı sayısını elde etmek için, kod şöyle olacaktır rbinom(n=10, size=1, prob=p)(muhtemelen sonucu depolamak için bir değişkene atamak isteyeceksiniz).
  • bu verileri ayrıca ? runif , örneğin,ifelse(runif(1)<=p, 1, 0)
  • Sonuçların gizli bir Gauss değişkeni tarafından yönlendirildiğine inanıyorsanız, gizli değişkeninizi ? rnorm ile eş değişkenlerinizin bir işlevi olarak oluşturabilir ve ardından bunları kodunuzdakilerle olasılıklara dönüştürebilir ve bunları pnorm()kullanabilirsiniz rbinom().

• $var1^2$$var1*var2$$var1^2*var2$

• Her ne kadar farklı bir soru bağlamında yazılsa da, buradaki cevabım: logit ve probit modeller arasındaki fark bu model türleri hakkında birçok temel bilgiye sahiptir.

• Farklı türü vardır gibi Tip I hata oranları birden hipotezler (örneğin vardır başına aksine hata oranı , Familywise hata oranı , & başına ailenin hata oranı ), bu yüzden güç * orada farklı türde (örneğin içindir a tek etkili, önceden belirlenmiş için, herhangi bir etki ve için, tüm etkileri ). Ayrıca, belirli bir etki kombinasyonunu tespit etme gücü veya bir bütün olarak modelin eş zamanlı testinin gücü için de arama yapabilirsiniz. SAS kodunu açıklamana göre tahminime göre bu sonuncusu. Ancak, durumunuzla ilgili tanımınızdan, etkileşim etkilerini minimumda tespit etmek istediğinizi farz ediyorum.

  • * referans: Maxwell, SE (2004). Yetersiz çalışmaların psikolojik araştırmalarda kalıcılığı: nedenleri, sonuçları ve çözüm yolları. Psikolojik Yöntemler , 9 , 2 , sayfa 147-163.
  • Etkileriniz oldukça düşüktür (düşük yanıtlama oranlarıyla karıştırılmamalıdır), bu yüzden iyi bir güç elde etmeyi zor bulacağız.
  • Bunların hepsinin oldukça benzer olmasına rağmen, birbirleriyle aynı olmadıklarına dikkat edin (örneğin, önemli bir etkisi olmayan önemli bir model elde etmek çok mümkün - burada tartışılan: Bir gerileme nasıl bütün belirleyiciler önemsiz olabilir) anlamlı , veya önemli etkiler ancak modelin önemli olmadığı yerlerde - burada tartışıldı: Doğrusal regresyonda katsayıların önemi: aşağıda açıklanacak olan anlamlı t-testi ile anlamlı olmayan F-istatistiği ).

• İktidarla ilgili meseleler hakkında düşünmenin farklı bir yolu için, buradaki cevaba bakınız: Örneklem büyüklüğünü haklı çıkarma bağlamında korelasyonları tahmin etmede genel kesinliği nasıl rapor edersiniz.

R'de lojistik regresyon için basit post-hoc güç:

Diyelim ki kabul ettiğiniz cevap oranları, dünyadaki gerçek durumu ve 10.000 mektup gönderdiğinizi. Bu etkileri tespit etmenin gücü nedir? ("Komik olarak etkin" kodunu yazdığım için ünlü olduğumu unutmayın, aşağıdakiler verimlilik için optimize edilmiş olmaktan ziyade takip edilmesi kolay olmalı, aslında oldukça yavaş.)

set.seed(1)

repetitions = 1000
N = 10000
n = N/8
var1  = c(   .03,    .03,    .03,    .03,    .06,    .06,    .09,   .09)
var2  = c(     0,      0,      0,      1,      0,      1,      0,     1)
rates = c(0.0025, 0.0025, 0.0025, 0.00395, 0.003, 0.0042, 0.0035, 0.002)

var1    = rep(var1, times=n)
var2    = rep(var2, times=n)
var12   = var1**2
var1x2  = var1 *var2
var12x2 = var12*var2

significant = matrix(nrow=repetitions, ncol=7)

startT = proc.time()[3]
for(i in 1:repetitions){
  responses          = rbinom(n=N, size=1, prob=rates)
  model              = glm(responses~var1+var2+var12+var1x2+var12x2, 
                           family=binomial(link="logit"))
  significant[i,1:5] = (summary(model)$coefficients[2:6,4]<.05)
  significant[i,6]   = sum(significant[i,1:5])
  modelDev           = model$null.deviance-model$deviance
  significant[i,7]   = (1-pchisq(modelDev, 5))<.05
}
endT = proc.time()[3]
endT-startT

sum(significant[,1])/repetitions      # pre-specified effect power for var1
[1] 0.042
sum(significant[,2])/repetitions      # pre-specified effect power for var2
[1] 0.017
sum(significant[,3])/repetitions      # pre-specified effect power for var12
[1] 0.035
sum(significant[,4])/repetitions      # pre-specified effect power for var1X2
[1] 0.019
sum(significant[,5])/repetitions      # pre-specified effect power for var12X2
[1] 0.022
sum(significant[,7])/repetitions      # power for likelihood ratio test of model
[1] 0.168
sum(significant[,6]==5)/repetitions   # all effects power
[1] 0.001
sum(significant[,6]>0)/repetitions    # any effect power
[1] 0.065
sum(significant[,4]&significant[,5])/repetitions   # power for interaction terms
[1] 0.017

Bu nedenle, 10.000 harften bu yanıt oranlarını tespit etmek için% 80 güç (herhangi bir türde) gerçekten elde edilemiyor. (SAS kodunun, bu yaklaşımlar arasındaki keskin uyuşmazlığı açıklayabilmek için ne yaptığından yeterince emin değilim, ancak bu kod kavramsal olarak basit - eğer yavaşsa - ve kontrol etmek için biraz zaman harcadım ve bunları düşünüyorum. sonuçlar makul.)

Lojistik regresyon için simülasyon temelli a priori gücü:

$N$$N$$N$$N$

$N$$N$

sum(significant[,1])/repetitions      # pre-specified effect power for var1
[1] 0.115
sum(significant[,2])/repetitions      # pre-specified effect power for var2
[1] 0.091
sum(significant[,3])/repetitions      # pre-specified effect power for var12
[1] 0.059
sum(significant[,4])/repetitions      # pre-specified effect power for var1X2
[1] 0.606
sum(significant[,5])/repetitions      # pre-specified effect power for var12X2
[1] 0.913
sum(significant[,7])/repetitions      # power for likelihood ratio test of model
[1] 1
sum(significant[,6]==5)/repetitions   # all effects power
[1] 0.005
sum(significant[,6]>0)/repetitions    # any effect power
[1] 0.96
sum(significant[,4]&significant[,5])/repetitions   # power for interaction terms
[1] 0.606

$var1^2$significant

$N$

@ Gung'in cevabı anlamak için mükemmeldir. İşte kullanacağım yaklaşım:

mydat <- data.frame( v1 = rep( c(3,6,9), each=2 ),
    v2 = rep( 0:1, 3 ), 
    resp=c(0.0025, 0.00395, 0.003, 0.0042, 0.0035, 0.002) )

fit0 <- glm( resp ~ poly(v1, 2, raw=TRUE)*v2, data=mydat,
    weight=rep(100000,6), family=binomial)
b0 <- coef(fit0)


simfunc <- function( beta=b0, n=10000 ) {
    w <- sample(1:6, n, replace=TRUE, prob=c(3, rep(1,5)))
    mydat2 <- mydat[w, 1:2]
    eta <- with(mydat2,  cbind( 1, v1, 
                v1^2, v2,
                v1*v2,
                v1^2*v2 ) %*% beta )
    p <- exp(eta)/(1+exp(eta))
    mydat2$resp <- rbinom(n, 1, p)

    fit1 <- glm( resp ~ poly(v1, 2)*v2, data=mydat2,
        family=binomial)
    fit2 <- update(fit1, .~ poly(v1,2) )
    anova(fit1,fit2, test='Chisq')[2,5]
}

out <- replicate(100, simfunc(b0, 10000))
mean( out <= 0.05 )
hist(out)
abline(v=0.05, col='lightgrey')

Bu fonksiyon v2'nin genel etkisini test eder, modeller diğer test türlerine bakmak için değiştirilebilir. Fonksiyon olarak yazmayı seviyorum, böylece farklı bir şeyi test etmek istediğimde sadece fonksiyon argümanlarını değiştirebiliyorum. Ayrıca bir ilerleme çubuğu ekleyebilir veya işleri hızlandırmak için paralel paketi kullanabilirsiniz.

Burada sadece 100 kopya yaptım, genellikle yaklaşık örnek büyüklüğünü bulmak için o seviyeden başlarım, sonra doğru top parkında olduğumda (% 20 gücünüz varken 10.000 yineleme için zaman harcamanıza gerek kalmaz) itterasyonlara başladım.