Shapiro-Wilk en iyi normallik testi midir? Neden Anderson-Darling gibi diğer testlerden daha iyi olabilir?

Literatürde bir yerlerde Shapiro-Wilk testinin en iyi normallik testi olarak kabul edildiğini okudum, çünkü verilen bir anlamlılık düzeyi için, , yanlış olması durumunda boş hipotezi reddetme olasılığı diğerinden daha yüksek normallik testleri.$\alpha$

Bana mümkünse matematiksel argümanlar kullanarak, diğer bazı normallik testlerine kıyasla tam olarak nasıl çalıştığını açıklayabilir misiniz (Anderson - Darling testi)?

Öncelikle genel bir yorum: Anderson-Darling testinin tamamen belirtilen dağılımlar için olduğunu, Shapiro-Wilk ise her türlü ortalama ve varyansa sahip normaller için olduğunu unutmayın. Bununla birlikte, D'Agostino ve Stephens $^{[1]}$ de belirtildiği gibi Anderson-Darling, tahmin durumuna çok uygun bir şekilde adapte olur (buna benzer şekilde daha hızlı birleşir ve başa çıkacak kadar basit bir şekilde değiştirilir). Lilliefors, Kolmogorov-Smirnov davası için sınav yaptı). Spesifik olarak, normalde, $n=5$ ile A ^ * = A ^ 2 \ ' nin asimptotik değerinin tabloları (1+ \ frac {4} {n} - \ frac {25} {n ^ 2} \ right )$A^*=A^2\left(1+\frac{4}{n}-\frac{25}{n^2}\right)$ kullanılabilir (n <5 için uygunluk testini yapmayın).

Literatürde bir yerlerde Shapiro-Wilk testinin en iyi normallik testi olarak kabul edildiğini okudum, çünkü verilen bir anlamlılık düzeyi için α, yanlış olması durumunda boş hipotezi reddetme olasılığı diğer normallikte olduğundan daha yüksek testleri.

Genel bir ifade olarak, bu yanlıştır.

Hangi normallik testlerinin "daha iyi" olduğu, ilgilendiğiniz alternatif alternatif sınıflarına bağlıdır. Shapiro-Wilk'in popüler olmasının bir nedeni, geniş bir faydalı alternatif yelpazesinde çok iyi bir güce sahip olma eğiliminde olmasıdır. Birçok iktidar çalışmasında ortaya çıkıyor ve genellikle çok iyi bir performans sergiliyor, ancak evrensel olarak en iyi değil.

Daha az güçlü olan alternatifleri bulmak oldukça kolaydır.

Örneğin, hafif kuyruklu alternatiflere karşı genellikle öğrenci aralığından aralığından daha az güce sahiptir (bunları tek tip verilerde bir normallik testi ile karşılaştırın Örneğin, , temelli bir test , Shapiro Wilk için% 38'in biraz üzerinde olanlara göre yaklaşık% 63'lük bir güce sahiptir). n=30$u=\frac{\max(x)−\min(x)}{sd(x)}$$n=30$$u$

Anderson-Darling (parametre tahmini için ayarlanmış) çift katlanarak daha iyi sonuç verir. Moment-eğriltme, bazı eğriltme alternatiflerine karşı daha iyidir.

Bana mümkünse matematiksel argümanlar kullanarak, diğer bazı normallik testlerine kıyasla tam olarak nasıl çalıştığını açıklayabilir misiniz (Anderson - Darling testi)?

Genel terimlerle açıklayacağım (daha ayrıntılı bilgi istiyorsanız, orijinal belgeler ve bunları tartışan daha sonraki makalelerden bazıları sizin için en iyi bahis olacaktır):

Shapiro-Francia daha basit fakat yakından ilgili bir test düşünün; normal olarak sıra sıra istatistikleri ile beklenen sıra istatistikleri arasındaki korelasyonun etkili bir işlevidir (ve normal QQ grafiğindeki "çizginin ne kadar düz" olduğuna dair doğrudan bir ölçü). Hatırladığım kadarıyla Shapiro-Wilk daha güçlü, çünkü sipariş istatistikleri arasındaki kovaryansları da hesaba katar ve QQ arsadan en iyi doğrusal tahmincisini üretir , bu durumda . Dağılım normal olmaktan uzaksa, oran 1'e yakın değildir.$\sigma$$s$

Karşılaştırma ise Anderson-Darling, Kolmogorov-Smirnov ve Cramér-von Mises gibi, deneysel CDF'ye dayanıyor. Spesifik olarak, ECDF ile teorik ECDF arasındaki ağırlıklı sapmalara dayanmaktadır (varyans için ağırlık, kuyruktaki sapmalara karşı daha hassas hale getirmektedir).

Shapiro ve Chen tarafından yapılan test (1995) (sipariş istatistikleri arasındaki boşluklara dayanarak) genellikle Shapiro-Wilk'ten biraz daha fazla güç sergiler (ancak her zaman değil); genellikle benzer şekilde performans gösterirler.$^{[2]}$

-

Shapiro Wilk'i kullanın, çünkü genellikle güçlü, yaygın olarak bulunur ve birçok kişi buna aşinadır (bir gazetede kullanırsanız ne olduğunu ayrıntılı bir şekilde açıklama gereğini ortadan kaldırır) - sadece onu yanılsama altında kullanmayın. "en iyi normallik testi". En iyi bir normallik testi yok.

[1]: D'Agostino, RB ve Stephens, MA (1986)
Uygunluk Yöntemlerinin İyiliği ,
Marcel Dekker, New York.

[2]: Chen, L. ve Shapiro, S. (1995)
"Normalleştirilmiş aralıklara dayanan normallik için alternatif bir test."
İstatistiksel Hesaplama ve Simülasyon Dergisi 53 , 269-287.

Açıkçası, okuduğunuz karşılaştırmanın, tüm alternatifler arasında mümkün olan en yüksek güce sahip olması nedeniyle SnowsPenultimateNormalityTest ( http://cran.r-project.org/web/packages/TeachingDemos/TeachingDemos.pdf ) bulunmadığı açıktı . Bu nedenle, güç tek düşünce ise "En İyi" olarak kabul edilmelidir (Görüşlerimin açıkça önyargılı olduğunu, ancak bağlantıda / belgelerde belgelendiğini unutmayın).

Bununla birlikte, Nick Cox’un en iyi testin resmi bir testten ziyade bir komplo olduğu fikrine katılıyorum, çünkü “Yeterince Normal” sorusu “Tamamen normal” den çok daha önemli. Anlamlı bir test yapmak istiyorsanız, qq grafiğini bu yazıda metodoloji ile birleştirmenizi öneririm:

Buja, A., Cook, D. Hofmann, H., Lawrence, M. Lee, E.-K., Swayne, DF ve Wickham, H. (2009) Açıklayıcı veri analizi ve model teşhisi için istatistiksel çıkarım Phil. Trans. R. Soc. A 2009 367, 4361-4383 doi: 10.1098 / rsta.2009.0120

Bunun bir uygulaması, vis.testR için TeachingDemos paketindeki işlevdir (aynı paket SnowsPenultimateNormalityTest).

Partiye geç kaldım, ancak yayınlanan hakemli araştırmaya referanslar ile cevap vereceğim. OP'nin sorusuna Evet / Hayır cevabını vermeme sebebim, göründüğünden daha karmaşık olması. Aykırı olan veya olmayan herhangi bir dağıtımdan gelen numuneler için en güçlü olan bir test yoktur. Aykırı değerler, bir testin gücünü ciddi şekilde azaltabilir ve bir başkası için artırabilir. Bazı testler örnek simetrik dağılımdan vb. Geldiğinde daha iyi sonuç verir.

• Henry C. Thode, Normallik Testi , 2002 - Bu konuyla ilgili en kapsamlı kitap. Basit bir cevaba cevap vermek zorunda kalsaydım, SW her durumda AD'den daha güçlü değildir. İşte okuma zevkiniz için iki alıntı.

Bölüm 7.1.5'ten itibaren: Güç temelinde, test seçimi doğrudan mevcut bilgilerle veya alternatifle ilgili yapılmış varsayımlarla ilgilidir. Alternatif ne kadar belirgin olursa test genellikle o kadar spesifik ve daha güçlü olur; Bu aynı zamanda en güvenilir tavsiyelerle sonuçlanacaktır.

ve

gibi ortak bir çarpıklık ve testi , Anderson-Darling gibi, çok çeşitli alternatiflere karşı yüksek güç sağlar . Wilk-Shapiro W, eğik ve kısa kuyruklu simetrik alternatifler arasında diğer testlere kıyasla nispeten yüksek güç ve uzun kuyruklu simetrik alternatifler için saygın güç gösterdi. A $K_s^2$$A^2$

• Romao, Xavier, Raimundo Delgado ve Anibal Costa. “Normal olmayan tek değişkenli uyumsuzluk testlerinin ampirik bir güç karşılaştırması.” İstatistiksel Hesaplama ve Simülasyon Dergisi 80.5 (2010): 545-591. Bu , tanıdığım konuyla ilgili en son yayınlanan araştırma.

Çalışma, çeşitli önem düzeyleri ve çeşitli simetrik, asimetrik ve değiştirilmiş normal dağılımlar dikkate alınarak, çeşitli örneklem büyüklükleri için 33 normallik testinin performansını ele almaktadır. Çalışmadan kaynaklanan normallik testi için genel öneriler, normallik olmadığına göre tanımlanır.

Araştırmalarını gerçekten evet / hayır olarak değerlendirmek istiyorsanız, cevabınız YES. Shapiro-Wilks testi, çoğu durumda Anderson-Darling’ten biraz daha güçlü görünmektedir. Aklında belirli bir alternatif dağılımın olmadığı zaman Shapiro Wilk testini önerirler. Ancak, bu konuyla ilgileniyorsanız, makale okumaya değer. En azından masalara bak.

• Edith Seier, Normallik Testleri: Uluslararası İstatistik Bilimi Ansiklopedisinde Güç Karşılaştırma , 2014 - Konuyla ilgili yayınlanmış bir araştırma. Yine cevap, numuneye ve alternatif dağılım hakkındaki bilgilerinize bağlıdır, ancak önemsizleştirilmiş cevap EVET olacaktır, Shapiro-Wilk genellikle daha güçlüdür, ancak her zaman değil.

• Henry C. Thode, Normallik Testleri , Uluslararası İstatistik Bilimi Ansiklopedisi, 2014 - Popüler normallik testlerinin tanımı. Onun önerisi:

Daha önce belirtildiği gibi, normallik testlerinin sayısı büyüktür, burada bile belirtilemeyecek kadar büyüktür. Genel olarak en iyi testler moment testleri, Shapiro - Wilk W, Anderson - Darling (bkz. Anderson-Darling İyilik Uygunluk Testleri) ve Jarque-Bera testi. Bunlara ve diğer birçok normallik testlerine ve özelliklerine ilişkin spesifikasyonlar ve özellikleri Thode'de (2002) ve D'Agostino ve Stephens'de (1986) normallik testleri dahil olmak üzere t konularının genel iyiliği üzerine bulunabilir.$A^2$

Şimdi, tüm bunlar tek değişkenli testlerle ilgiliydi. Thode (2002) ayrıca çok değişkenli testlere, sansürlü verilere, normal karışımlara, aykırı değerlerin varlığında test etmeye ve daha birçok şeye sahiptir.

Bu soruyu devam ettirmek için daha ciddi bir cevap ve özellikle @ silverfish'in ilgisini çekmeye devam etti. Bunun gibi soruları yanıtlamaya yönelik bir yaklaşım, karşılaştırmak için bazı simülasyonlar kullanmaktır. Aşağıda, çeşitli alternatifler altında veriyi simüle eden ve birkaç normalite testini gerçekleştiren ve gücü karşılaştıran bazı R kodları verilmiştir (ve güç simülasyon üzerinden tahmin edildiğinden beri güce olan güven aralığı). Numune boyutlarını biraz değiştirdim çünkü güçlerin çoğu% 100 ya da% 5'e yakınken ilginç değildi, güçleri% 80'e yakın veren yuvarlak sayılar buldum. İlgilenen herkes bu kodu kolayca alabilir ve farklı varsayımlar, farklı alternatifler vb. İçin değiştirebilir.

Bazı testlerin daha iyi performans gösterdiği alternatiflerin, daha kötüsünün ise başka yerler olduğunu görebilirsiniz. Önemli soru, bilimsel sorularınız / alanınız için hangi alternatiflerin daha gerçekçi olduğu. Bu, normal olmayan ilgi türlerinin yapılan diğer testler üzerindeki etkisinin bir simülasyonu ile takip edilmelidir. Bu normal olmayan tiplerden bazıları, diğer normal tabanlı testleri büyük ölçüde etkiler, diğerleri de onları fazla etkilemez.

> library(nortest)
> 
> simfun1 <- function(fun=function(n) rnorm(n), n=250) {
+   x <- fun(n)
+   c(sw=shapiro.test(x)$p.value, sf=sf.test(x)$p.value, ad=ad.test(x)$p.value,
+     cvm=cvm.test(x)$p.value, lillie=lillie.test(x)$p.value, 
+     pearson=pearson.test(x)$p.value, snow=0)
+ }
> 
> ### Test size using null hypothesis near true
> 
> out1 <- replicate(10000, simfun1())
> apply(out1, 1, function(x) mean(x<=0.05))
     sw      sf      ad     cvm  lillie pearson    snow 
 0.0490  0.0520  0.0521  0.0509  0.0531  0.0538  1.0000 
> apply(out1, 1, function(x) prop.test(sum(x<=0.05),length(x))$conf.int)  #$
             sw         sf         ad        cvm     lillie    pearson      snow
[1,] 0.04489158 0.04776981 0.04786582 0.04671398 0.04882619 0.04949870 0.9995213
[2,] 0.05345887 0.05657820 0.05668211 0.05543493 0.05772093 0.05844785 1.0000000
> 
> ### Test again with mean and sd different
> 
> out2 <- replicate(10000, simfun1(fun=function(n) rnorm(n,100,5)))
> apply(out2, 1, function(x) mean(x<=0.05))
     sw      sf      ad     cvm  lillie pearson    snow 
 0.0482  0.0513  0.0461  0.0477  0.0515  0.0506  1.0000 
> apply(out2, 1, function(x) prop.test(sum(x<=0.05),length(x))$conf.int)  #$
             sw         sf         ad        cvm     lillie    pearson      snow
[1,] 0.04412478 0.04709785 0.04211345 0.04364569 0.04728982 0.04642612 0.9995213
[2,] 0.05262633 0.05585073 0.05043938 0.05210583 0.05605860 0.05512303 1.0000000
> 
> #### now for the power under different forms of non-normality
> 
> ## heavy tails, t(3)
> rt3 <- function(n) rt(n, df=3)
> 
> out3 <- replicate(10000, simfun1(fun=rt3, n=75))
There were 50 or more warnings (use warnings() to see the first 50)
> round(apply(out3, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.788   0.831   0.756   0.726   0.624   0.440   1.000 
> round(apply(out3, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.780 0.824 0.748 0.717  0.614   0.431    1
[2,] 0.796 0.838 0.765 0.734  0.633   0.450    1
> 
> 
> ## light tails, uniform
> u <- function(n) runif(n)
> 
> out4 <- replicate(10000, simfun1(fun=u, n=65))
> round(apply(out4, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.906   0.712   0.745   0.591   0.362   0.270   1.000 
> round(apply(out4, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.900 0.703 0.737 0.581  0.353   0.261    1
[2,] 0.911 0.720 0.754 0.600  0.372   0.279    1
> 
> ## double exponential, Laplace
> de <- function(n) sample(c(-1,1), n, replace=TRUE) * rexp(n)
> 
> out5 <- replicate(10000, simfun1(fun=de, n=100))
> round(apply(out5, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.796   0.844   0.824   0.820   0.706   0.477   1.000 
> round(apply(out5, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.788 0.837 0.817 0.813  0.697   0.467    1
[2,] 0.804 0.851 0.832 0.828  0.715   0.486    1
> 
> ## skewed, gamma(2,2)
> g22 <- function(n) rgamma(n,2,2)
> 
> out6 <- replicate(10000, simfun1(fun=g22, n=50))
Warning message:
In cvm.test(x) :
  p-value is smaller than 7.37e-10, cannot be computed more accurately
> round(apply(out6, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.954   0.930   0.893   0.835   0.695   0.656   1.000 
> round(apply(out6, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.950 0.925 0.886 0.827  0.686   0.646    1
[2,] 0.958 0.935 0.899 0.842  0.704   0.665    1
> 
> ## skewed, gamma(2,2)
> g99 <- function(n) rgamma(n,9,9)
> 
> out7 <- replicate(10000, simfun1(fun=g99, n=150))
> round(apply(out7, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.844   0.818   0.724   0.651   0.526   0.286   1.000 
> round(apply(out7, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.836 0.810 0.715 0.642  0.516   0.277    1
[2,] 0.851 0.826 0.732 0.660  0.536   0.294    1
> 
> ## tails normal, middle not
> mid <- function(n) {
+   x <- rnorm(n)
+   x[ x > -0.5 & x < 0.5 ] <- 0
+   x
+ }
> 
> out9 <- replicate(10000, simfun1(fun=mid, n=30))
Warning messages:
1: In cvm.test(x) :
  p-value is smaller than 7.37e-10, cannot be computed more accurately
2: In cvm.test(x) :
  p-value is smaller than 7.37e-10, cannot be computed more accurately
> round(apply(out9, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.374   0.371   0.624   0.739   0.884   0.948   1.000 
> round(apply(out9, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.365 0.362 0.614 0.730  0.878   0.943    1
[2,] 0.384 0.381 0.633 0.747  0.890   0.952    1
> 
> ## mixture on variance
> mv <- function(n, p=0.1, sd=3) {
+   rnorm(n,0, ifelse(runif(n)<p, sd, 1))
+ }
> 
> out10 <- replicate(10000, simfun1(fun=mv, n=100))
Warning message:
In cvm.test(x) :
  p-value is smaller than 7.37e-10, cannot be computed more accurately
> round(apply(out10, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.800   0.844   0.682   0.609   0.487   0.287   1.000 
> round(apply(out10, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.792 0.837 0.673 0.599  0.477   0.278    1
[2,] 0.808 0.851 0.691 0.619  0.497   0.296    1
> 
> ## mixture on mean
> mm <- function(n, p=0.3, mu=2) {
+   rnorm(n, ifelse(runif(n)<p, mu, 0), 1)
+ }
> 
> out11 <- replicate(10000, simfun1(fun=mm, n=400))
> round(apply(out11, 1, function(x) mean(x<=0.05, na.rm=TRUE)),3)
     sw      sf      ad     cvm  lillie pearson    snow 
  0.776   0.710   0.808   0.788   0.669   0.354   1.000 
> round(apply(out11, 1, function(x){ 
+ prop.test(sum(x<=0.05,na.rm=TRUE),sum(!is.na(x)))$conf.int),3) }  #$
        sw    sf    ad   cvm lillie pearson snow
[1,] 0.768 0.701 0.801 0.780  0.659   0.344    1
[2,] 0.784 0.719 0.816 0.796  0.678   0.363    1