Wilcoxon test asimptotik nispi etkinliği neden normal dağıtılmış veriler için Student t-testine kıyasla?

Wilcoxon imzalı sıralama testinin asimptotik nispi verimliliğinin (ARE) , veriler normal olarak dağıtılmış bir popülasyondan alınmışsa, Student t testine kıyasla olduğu iyi bilinmektedir . Bu, hem temel tek örneklem testi hem de iki bağımsız örnek için varyant (Wilcoxon-Mann-Whitney U) için geçerlidir. Ayrıca normal veriler için ANOVA F testine kıyasla bir Kruskal-Wallis testinin ARE'sidir. $\frac{3}{\pi} \approx 0.955$

Bu dikkate değer (benim için, " en beklenmedik görünümlerinden biri $\pi$ ") ve oldukça basit bir sonucun anlayışlı, dikkat çekici veya basit bir kanıtı var mı?

— Gümüş Balık
kaynak

Görünümünü göz önüne alındığında Normal cdf içinde, görünümü gerçekten olmamalıdır OLAN tüm şaşırtıcı olduğunu. Bir cevabı tehlikeye atacağım ama iyi bir cevap almak biraz zaman alacak.

π

$\pi$

π

$\pi$

— Glen_b

@Glen_b Gerçekten - Daha önce "neden istatistiklerde bu kadar çok görünüyor" tartışması gördüm (gerçi CV'de olup olmadığını hatırlamıyorum) ve "normal dağılım nedeniyle" çok fazla ürün biliyorum , ancak ilk gördüğünüzde hala hoş bir sürpriz. Karşılaştırma için, iki örnekli t-testine karşı Mann-Whitney ARE'si üstel verilerde 3, çift üstelde 1.5 ve üniformda 1'dir - çok daha yuvarlak!

π

$\pi$

3 / π

$3/\pi$

— Silverfish

@Silverfish van der Vaart "Asimptotik İstatistikler" sayfa 197 bağladım. Tek örnek için işaret testlerinde t testine göre ARE .

2 / π

$2/\pi$

— Khashaa

@Silverfish ... ve lojistikte . içeren iyi bilinen ARE'lerden birkaçı (bir veya iki örnek durumda) ve basit sayıların basit sayıları vardır.

(π / 3)^{2}

$(\pi/3)^2$

π

$\pi$

— Glen_b

Tek örnekli işaretli sıralama testi için gibi görünüyor . Tek örnekli işaret testi için . Böylece konumumuzu netleştirdik. Bence bu iyi bir işaret.

3 / π

$3/\pi$

2 / π

$2/\pi$

— Khashaa

Yanıtlar:

Tek örnekli testi, imzalı test ve imzalı rütbe testi için ARE'nin kısa taslağı $t$

@ Glen_b'in cevabının uzun versiyonunun ARE'nin sezgisel açıklaması ile birlikte iki örnekli işaretli sıralama testi için ayrıntılı analiz içermesini bekliyorum. Bu yüzden türetmenin çoğunu atlayacağım. (bir örnek durumda, eksik ayrıntıları Lehmann TSH'de bulabilirsiniz).

Test Sorunu : , sıfırdan simetrik olan konum modelinden rastgele bir örnek olsun . T-testine göre hipotezi için imzalı testin ARE, imzalı rank testini hesaplayacağız . $X_1,\ldots,X_n$ $f(x-\theta)$ $H_0: \theta=0$

Testlerin nispi verimliliğini değerlendirmek için, sadece yerel alternatifler göz önünde bulundurulur, çünkü tutarlı testlerin sabit alternatife karşı 1'e eğilimi vardır. Aşikar olmayan asimptotik güç vermek artış çoğu zaman form olduğu yerel alternatifler sabit, olarak adlandırılır, Pitman sürüklenme bir literatürde. $\theta_n=h/\sqrt{n}$ $h$

Önümüzdeki görevimiz

null altındaki her test istatistiğinin limit dağılımını bul
alternatif altında her bir test istatistiğinin limit dağılımını bulmak
her testin yerel asimtotik gücünü hesaplar

Test istatistiği ve asimtotik

t-testi ( varlığı göz önüne alındığında ) t n = √değerinin altında t n = √
$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (0, 1) under the null$

$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (h / σ, 1) under the alternative θ = h / \sqrt{n}$
- bu yüzden asimptotik güç fonksiyonu test $t_n>z_\alpha$ $1 - Φ (z_{α} - h \frac{1}{σ})$ $1-\Phi\left(z_\alpha-h\frac{1}{\sigma}\right)$
imzalı test ve yerel asimptotik gücü $S_n=\frac{1}{n}\sum_{i=1}^{n}1\{X_i>0\}$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (0, \frac{1}{4}) under the null$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(0,\frac{1}{4}\right)\quad \text{under the null }$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (h f (0), \frac{1}{4}) under the alternative$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(hf(0),\frac{1}{4}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - 2 h f (0))$ $1-\Phi\left(z_\alpha-2hf(0)\right)$
işaretli sıra testi ve yerel asimptotik güce sahiptir $W_{n} = n^{- 2 / 3} \sum_{i = 1}^{n} R_{i} 1 {X_{i} > 0} \to_{d} N (0, \frac{1}{3}) under the null$ $W_n=n^{-2/3}\sum_{i=1}^{n}R_i1\{X_i>0\}\to_dN\left(0,\frac{1}{3}\right)\quad \text{under the null }$ $W_{n} \to_{d} N (2 h \int f^{2}, \frac{1}{3}) under the alternative$ $W_n\to_dN\left(2h\int f^2,\frac{1}{3}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - \sqrt{12} h \int f^{2})$ $1-\Phi\left(z_\alpha-\sqrt{12}h\int f^2\right)$

Bu nedenle, ise standart normal yoğunluğudur ,

A R E (S_{n}) = (2 f (0) σ)^{2}

$ARE(S_n)=(2f(0)\sigma)^2$

A R E (W_{n}) = (\sqrt{12} \int f^{2} σ)^{2}

$ARE(W_n)=(\sqrt{12}\int f^2\sigma)^2$

f

$f$

A R E (S_{n}) = 2 / π

$ARE(S_n)=2/\pi$

A R E (W_{n}) = 3 / π

$ARE(W_n)=3/\pi$

Eğer [-1,1], ilgili üniform , $f$ $ARE(S_n)=1/3$ $ARE(W_n)=1/3$

Alternatif altında dağıtımın türetilmesine ilişkin açıklama

Alternatif olarak sınırlayıcı dağılımı türetmenin birçok yolu vardır. Genel bir yaklaşım Le Cam'ın üçüncü lemmasını kullanmaktır. Basitleştirilmiş sürümü belirtiyor

olasılık oranının günlüğü olsun . Bazı istatistik , null altında, ardından $\Delta_n$ $W_n$
$(W_{n}, Δ_{n}) \to_{d} N [(\begin{matrix} μ \\ - σ^{2} / 2 \end{matrix}), (\begin{array}{cc} σ_{W}^{2} & τ \\ τ & σ^{2} / 2 \end{array})]$ $(W_n,\Delta_n)\to_d N\left[\left(\begin{array}{c} \mu\\ -\sigma^2/2 \end{array}\right),\left(\begin{array}{cc} \sigma^2_W & \tau \\ \tau & \sigma^2/2 \end{array}\right)\right]\\$ $W_{n} \to_{d} N (μ + τ, σ_{W}^{2}) under the alternative$ $W_n\to_d N\left(\mu+\tau,\sigma^2_W\right)\quad\text{under the alternative}$

İkinci dereceden ortalama farklılaşabilir yoğunluklar için, lokal asimtotik normallik ve bitişiklik otomatik olarak karşılanır, bu da Le Cam lemmasını ifade eder. Bu null altında sadece hesaplamamız gerekir . itaat LAN olduğu skor fonksiyonu, bilgi matrisidir. Ardından, örneğin, imzalı $\mathrm{cov}(W_n,\Delta_n)$ $\Delta_n$

Δ_{n} \approx \frac{h}{\sqrt{n}} \sum_{i = 1}^{n} l (X_{i}) - \frac{1}{2} h^{2} I_{0}

$\Delta_n\approx \frac{h}{\sqrt{n}}\sum_{i=1}^{n}l(X_i)-\frac{1}{2}h^2I_0$

l

$l$

I_{0}

$I_0$

S_{n}

$S_n$

c o v (\sqrt{n} (S_{n} - 1 / 2), Δ_{n}) = - h c o v (1 {X_{i} > 0}, \frac{f^{'}}{f} (X_{i})) = h \int_{0}^{\infty} f^{'} = h f (0)

$\mathrm{cov}(\sqrt{n}(S_n-1/2),\Delta_n)=-h\mathrm{cov}\left(1\{X_i>0\},\frac{f'}{f}(X_i)\right)=h\int_0^\infty f'=hf(0)$

— Khashaa
kaynak

+1 Bu kadar ayrıntıya girmeyecektim (gerçekten, cevabınızı çok güzel bir şekilde kapsayan cevabınızla, muhtemelen şimdi sahip olduğum şeye bir şey eklemeyeceğim), bu yüzden daha fazla ayrıntı koymak isterseniz, don ' hesabımı geri tutma. Henüz birkaç günüm olurdu (ve hâlâ

— sizinkinden daha azıyla

Bu özellikle Le Cam'ın lemmasına (+1) eklemek için güzel bir cevaptır. Bana öyle geliyor ki, 1, 2 ve 3'te asimtotiklerin kurulması ile ARE'leri yazdığınız "bu nedenle" bit arasında oldukça büyük bir sıçrama var. Sanırım bunu yazıyor olsaydım, bu noktada asimptotik verimliliği tanımlardım (ya da belki daha önce, bu yüzden 1, 2 ve 3 noktalarının ortaya çıkışı, her durumda sadece yerel asimtotik güçler değil, AE'ler olurdu) gelecekteki okuyucuların izlemesi çok daha kolay olurdu.

— Silverfish

Belki de belirtmeye değer mi? Tek taraflı ve iki taraflı vakalar farklı görünümlü asimtotik güçlere sahiptir (ancak aynı ARE'lere yol açsalar da).

H_{1}

$H_1$

— Silverfish

Cevabımı düzenleyebilir veya OP'ye ekleyebilirsiniz.

— Khashaa

@Khashaa Teşekkürler. Önümde doğru şeyleri bulduğumda yazınızı düzenleyeceğim. Son denklemdeki ifadesinin anlamını açıklar mısınız?

*

$*$

— Silverfish

Bunun neden (başkaları tarafından iyi açıklanmıştır) göründüğünü açıklamakla ilgisi yoktur, ancak sezgisel olarak yardımcı olabilir. Wilcoxon testi saflarında bir testidir, oysa parametrik test ham veriler üzerinde hesaplanır. Wilcoxon testinin testine göre etkinliği , iki test için kullanılan puanlar arasındaki korelasyonun karesidir. As için kare korelasyon yakınlaşıyor . Bunu R kullanarak ampirik olarak kolayca görebilirsiniz: $\pi$ $t$ $Y$ $t$ $n\rightarrow \infty$ $\frac{\pi}{3}$

n <- 1000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549402
[1] 0.9549297
n <- 100000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549298
[1] 0.9549297

— Frank Harrell
kaynak

Bu gerçekten çok faydalı bir yorum. Kavramsal olarak yapılması biraz daha yakın mı n <- 1e6; x <- rnorm(n); cor(x, rank(x))^2(açıkçası aynı sonucu veriyor )?

— Silverfish

(Frank'in yorumundan etkilenen insanlar Wilcoxon-Mann-Whitney U'nun denkliği ve rütbe üzerinde bir t testi ile ilgili bu soruya bakmak isteyebilir .)

— Silverfish

Bu cevap hakkında anlamadığım bir şey , düşük değerleri için korelasyonun daha yüksek olmasıdır (Bence proksimal neden, küçük için kuyrukları çok iyi görmüyoruz ). Saf bir şekilde, Wilcoxon'un nispi verimliliğinin küçük için daha yüksek olduğunu ima ediyor, bu da beni şaşırtıyor ... ?? (Bazı simülasyonlar yapabilirim, ancak (a) kolay bir cevap varsa ... ve (b) bir yerde kavramsal bir noktayı kaçırıyor muyum?)

n

$n$

n

$n$

n

$n$

— Ben Bolker

Hatırladığım kadarıyla, Wilcoxon imzalı rütbe testinin ve WMW'nin küçük örnek verimliliği, normal dağılımdaki vardiya alternatiflerindeki asimptotik değerden biraz daha düşüktür.

— Glen_b

Kısa versiyon: Vardiya alternatifi altında Wilcoxon-Mann-Whitney ile temel neden asimptotik nispi etkinliği (WMW / t) bulmanın burada , null değerindeki ortak yoğunluktur ve ortak varyanstır. $12\sigma^2[\int f^2(x) dx]^2$ $f$ $\sigma$

Yani normalde, etkin bir şekilde ölçekli bir versiyonudur ; integralinin bir terimi olacaktır; kare olduğunda 'nin kaynağı budur . $f^2$ $f$ $\frac{1}{\sqrt{\pi}}$ $\frac{ \;}{\pi}$

Aynı terim - aynı integrale sahip - ARE'de imzalı rütbe testi için yer alır, bu yüzden aynı değeri alır.

T'ye göre işaret testi için ARE ... ve yine bir vardır. $4\sigma^2f(0)^2$ $f(0)^2$ $\frac{ \;}{\pi}$

Yani aslında yorumlarda söylediğim gibi; Wilcoxon-Mann-Whitney için iki örnekli t testine karşı ARE'de, Wilcoxon imzalı rank testi ile tek örnekli t ve işaret testi için tek örnekli t testine karşı (her durumda normal) tam anlamıyla normal yoğunlukta göründüğü için. $\pi$

Referans:

JL Hodges ve EL Lehmann (1956),
"t-Testinin Parametrik Olmayan Bazı Rakiplerinin Verimliliği",
Ann. Matematik. Devletçi. , 27 : 2, 324-335.

— Glen_b-Monica'yı eski durumuna döndür
kaynak

Payda görünmesi için sezginin açıklamasını seviyorum ; WMW / Wilcoxon integrallerinde Renyi entropisinin ortaya çıkması tesadüf mü?

π

$\pi$

— Silverfish

@Silverfish dx'in ortaya çıkması kesinlikle tesadüf değildir. Ancak, bunun nedeni Rényi entropisine bağlı olması ya da en azından doğrudan bir bağlantı görmemem. Yine de gerçekten bilmediğim şeylere giriyoruz.

\int f^{2} d x

$\int f^2 dx$

— Glen_b -Monica

@Silverfish için sadece bir Renyi entropisi . Aksi takdirde, milyonlarca farklı yolla ortaya çıkabilen sade eski bir meydan.

α = 2

$\alpha=2$

— abalter