Lojistik regresyon ve t-testinin gücü nasıl karşılaştırılır?

Lojistik regresyonun gücü ve t testi eşdeğeri midir? Eğer öyleyse, "veri yoğunluğu eşdeğeri" olmalıdır, bu da demek oluyor ki aynı sayıda temel gözlem, .05 sabit alfa verildiğinde aynı gücü verir. İki durumu düşünün:

1. [Parametrik t-testi]: Binom gözleminden 30 çekim yapılır ve elde edilen değerlerin ortalaması alınır. Bu A grubu için (kez .70'lik bir binom Pr'a sahip olan) 30 kez ve B grubu için (meydana gelen .75'lik bir binomik Pr'a sahip) 30 kez yapılır. Bu, binom dağılımından 1.800 çekilişin bir özetini temsil eden grup başına 30 ortalama verir. Ortalamaları karşılaştırmak için 58df t-testi yapılır.
2. [Lojistik regresyon]: Grup üyeliğini temsil eden kukla kodlanmış bir eğim ve 1.800 çekilişin her biri ile lojistik regresyon gerçekleştirilir.

Sorumun iki bölümü var:

1. .05'lik bir set alfa verildiğinde, bu metodolojilerin gücü aynı mı yoksa farklı mı olacak? Neden? Bunu nasıl kanıtlayabilirim?
2. 1. soruya verilen cevap t-testine giren örnek boyutlarına, t-testindeki her grubun örnek büyüklüğüne, altta yatan binom olasılıklarına veya başka bir faktöre duyarlı mı? Eğer öyleyse, gücün gerçekten farklı olduğunu (simülasyon olmadan) nasıl bilebilirim ve ne tür değişiklikler iktidarda ne gibi değişiklikler yaratır? Alternatif olarak, simülasyon kullanarak sorunu çözen, çalışılmış R kodunu sağlayın.

Eğer doğru hesaplamışsam, lojistik regresyon asemptotik olarak t-testi ile aynı güce sahiptir. Bunu görmek için, günlük olasılığını not edin ve Hessian'ın küresel maksimum beklentisini hesaplayın (negatif, ML çözeltisinin varyans-kovaryans matrisini tahmin eder). Her zamanki lojistik parametreleştirme ile uğraşmayın: sadece söz konusu iki olasılıkla parametreleştirmek daha kolaydır. Ayrıntılar, tam olarak bir lojistik regresyon katsayısının önemini nasıl test ettiğinize bağlı olacaktır (birkaç yöntem vardır).

Bu testlerin benzer güçlere sahip olması çok şaşırtıcı olmamalıdır, çünkü ML tahminleri için ki-kare teorisi log olasılığına normal bir yaklaşıma dayanır ve t-testi oranların dağılımına normal bir yaklaşıma dayanır. İşin özü, her iki yöntemin de iki oranın aynı tahminlerini yapması ve her iki tahminin de aynı standart hatalara sahip olmasıdır.

---

Gerçek bir analiz daha inandırıcı olabilir. Belirli bir gruptaki (A veya B) değerler için genel bir terminoloji kullanalım:

• , 1 olasılığıdır.$p$
• her bir çekiş setinin boyutudur.$n$
• , çekiliş setlerinin sayısıdır.$m$
• veri miktarıdır.$N = m n$
• (e eşit 0 ya da 1 ) değeridir j inci netice i inci çizer grubu.$k_{ij}$$0$$1$$j^\text{th}$$i^\text{th}$
• içinde olanların toplam sayısıdır i inci çizer kümesi.$k_i$$i^\text{th}$
• toplam olan sayısıdır.$k$

Lojistik regresyon aslında ML tahmincisidir . Logaritması tarafından verilir$p$

$$\log(\mathbb{L}) = k \log(p) + (N-k) \log(1-p).$$

Parametresi ile ilgili olarak onun türevleri olan$p$

$$\frac{\partial \log(\mathbb{L})}{ \partial p} = \frac{k}{p} - \frac{N-k}{1-p} \text{ and}$$

$$-\frac{\partial^2 \log(\mathbb{L})}{\partial p^2} = \frac{k}{p^2} + \frac{N-k}{(1-p)^2}.$$

İlk sıfır verim ML tahmin ayarlama p = K / K ve ikinci ifade karşılıklı olarak varyans sonuçlandığı takıp p ( 1 - p ) / K , standart hatanın kare.${\hat{p} = k/N}$$\hat{p}(1 - \hat{p})/N$

T istatistik çizer setler göre gruplandırılmış verilere dayanarak tahmin edicileri elde edilecektir; yani, araçların farkı (biri A grubundan diğeri B grubundan) bu farkın, standart sapmalardan elde edilen standart hataya bölünmesiyle elde edilir. O zaman belirli bir grup için ortalama ve standart sapmaya bakalım. Ortalama eşittir ML tahmin ile aynıdır, p . Söz konusu standart sapma, çekme araçlarının standart sapmasıdır; yani, k i / n kümesinin standart sapmasıdır . İşte meselenin özü bu yüzden bazı olasılıkları keşfedelim.$k/N$$\hat{p}$$k_i/n$

1. Varsayalım verileri tüm çizer halinde gruplanmamış: olduğu, ve m = N . K i beraberlik araçlardır. Bunların örnek varyans eşittir N / ( N - 1 ) katı p ( 1 - p ) . Bundan, standart hatanın standard faktörü dışında ML standart hata ile aynı olduğu $n = 1$$m = N$$k_{i}$$N/(N-1)$$\hat{p}(1 - \hat{p})$ , buN=1800olduğundaesasen1'dir. Bu nedenle - bu küçük farkın dışında - lojistik regresyona dayalı herhangi bir test t-testi ile aynı olacak ve esasen aynı güce ulaşacağız.$\sqrt{N/(N-1)}$$1$$N = 1800$

2. Veri gruplandığında, (gerçek) varyans eşittir p ( 1 - p ) / n istatistikleri için k i toplamını temsil eder , n , Bernoulli ( s varyans, her biri) değişken p ( 1 - p ) . Bu nedenle beklendiği ortalamanın standart hatası m bu değerlerin kareköküdür p ( 1 - p ) / n / m $k_i/n$$p(1-p)/n$$k_i$$n$$p$$p(1-p)$$m$ , daha önce olduğu gibi.$p(1-p)/n/m = p(1-p)/N$

2 numara, testin gücünün, çekilişlerin nasıl paylaştırıldığına ( ve n'nin m n = N'ye göre nasıl değiştiği ile ), belki de numunedeki ayardan oldukça küçük bir etki dışında önemli ölçüde değişmemesi gerektiğini gösterir. varyans (her grupta çok az sayıda beraberlik kullanacak kadar aptal olmadıkça).$m$$n$$m n = N$

M = 900 , n = 1 (esasen lojistik regresyon) içeren ila p = 0.74'ü (10.000 yineleme ile) karşılaştırmak için sınırlı simülasyonlar ; m = n = 30 ; ve m = 2 , n = 450 (örnek varyans ayarını en üst düzeye çıkarır) bunu taşır: güç ( α = $p = 0.70$$p = 0.74$$m = 900, n = 1$$m = n = 30$$m = 2, n = 450$$\alpha = 0.05$, tek taraflı) ilk iki durumda 0,59 iken, ayarlama faktörünün önemli bir değişiklik yaptığı (şimdi 1798 veya 58 yerine sadece iki serbestlik derecesi vardır) üçüncü sırada 0,36'ya düşer. ile p = 0.52'yi karşılaştıran başka bir test , sırasıyla 0.22, 0.21 ve 0.15 güçlerini verir: yine, çekilişlere gruplanmadan (= lojistik regresyon) 30 gruba gruplamaya ve önemli bir düşüşe kadar sadece hafif bir düşüş gözlemliyoruz sadece iki gruba.$p = 0.50$$p = 0.52$

Bu analizin ahlakı :

1. veri değerlerinizi göreceli olarak küçük "çekme" gruplarından oluşan çok sayıda m'ye böldüğünüzde fazla kaybetmezsiniz .$N$$m$
2. Az sayıda grup kullanarak kayda değer gücü kaybedebilirsiniz ( küçüktür, n - grup başına veri miktarı - büyüktür).$m$$n$
3. En iyi şekilde veri değerlerinizi "çekilişler" olarak gruplamamanız gerekir . Bunları olduğu gibi analiz edin (lojistik regresyon ve t-testi dahil herhangi bir makul testi kullanarak).$N$

İşte R 'de whuber'ın cevabının simülasyonunu gösteren kod . R kodumu geliştirmeyle ilgili geri bildirim hoş geldiniz.

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter