Tüm normallik testleri null hipotezi reddeder?

Kolgomorov-Smirnov testi, Shapiro testi, vs ... hepsi dağılımın normal olduğu hipotezini reddediyor. Yine de normal nicelikleri ve histogramı çizdiğimde veriler açıkça normaldir. Belki testlerin gücü yüksek olduğu için?

Örneklem büyüklüğü yaklaşık 650'dir. Bu testlerden en az biri sıfır hipotezini reddedemez mi?

Sonuçlar:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

Normallik testi zaman kaybıdır ve örneğiniz bunun nedenini göstermektedir. Küçük örneklerde normallik testi düşük güce sahiptir, bu nedenle hangi istatistiksel modellerin kullanılacağına ilişkin kararların a priori bilgiye dayanması gerekir . Bu durumlarda null değerinin reddedilmemesi null değerinin nüfus düzeyinde yaklaşık olarak doğru olduğunu kanıtlamaz .

Büyük örnekleriniz olduğunda, normallik testleri gülünç derecede güçlü hale gelir, ancak size zaten bilmediğiniz bir şey söylemezler. Hiçbir gerçek miktar olduğunu tam olarak normal dağılıma sahip. Normal dağılım sadece bir çok durumda yeterince iyi bir yaklaşım olan matematiksel bir soyutlamadır. Bunun en basit kanıtı, herhangi bir gerçek sayıyı değeri olarak alabilecek gerçek bir miktar (en azından aklıma gelen hiçbir şey) olmadığıdır . Örneğin, evrende çok fazla molekül vardır. Para arzında çok fazla dolar var. Işık hızı sonludur. Bilgisayarlar yalnızca sonlu boyuttaki sayıları depolayabilir, bu nedenle bir şey tüm gerçek sayıları desteklese bile ölçemezsiniz.

Mesele şu ki, verilerinizin normalde tam olarak dağıtılmadığını biliyorsunuzdur, ancak normallik testleri size verilerin ne kadar normal olmadığı hakkında hiçbir şey söylemez. Onlar kesinlikle hiçbir veri olup olmadığı konusunda ipucu vermek yaklaşık normalde normallik varsayalım istatistiksel çıkarsama yöntemleri doğru cevap verecek şekilde dağıtılmış. İronik olarak, normalliği kabul eden yaygın testler (örn. T testi ve ANOVA) büyük örneklem boyutlarında normallik için daha sağlamdır.

Bu beni şaşırtmıyor - yeterince büyük bir örneklem büyüklüğü ile, veri üreten dağıtım gerçekten (ve tam olarak) normal olmadığı sürece, herhangi bir iyi test sıfır hipotezini reddetmelidir.

Hipotez testi ile, genellikle sıfır hipotezinden olabildiğince az veriyle çok küçük sapmalar bulabilen bir test olan "güçlü" bir test bulmakla ilgilenir.

Testi 20, 50, 100, 200 boyutunda bir alt örnekle çalıştırmayı deneyin ve testlerin hangi boyutta reddetmeye başladığını görün. Bir histogramın simetrik ve genellikle çan şeklinde olup olmadığını görmek kolaydır, ancak dağılımın kuyruklarını gözle değerlendirmek daha zordur. Belki de verilerde testlerin reddedilmesine neden olan aykırı değerler vardır? Varsa, onları budanırsanız ne olacağını görün.

Olası neden, verilerinizin çok az normal olmaması ve örnekleminizin boyutunun bunu ortaya çıkaracak kadar büyük olmasıdır.

Eğer dağılım gerçekten normalse, testlerden biri hariç tümünün geçtiği aşağıdaki R örneğinde olduğu gibi genellikle bu testleri geçmelidir.

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

Bir qqplot yapmak isteyebilirsiniz ve bu düz bir çizgiye yeterince yakınsa, bunu amaçlarınız için normalliğe yeterince yakın olarak değerlendirmeye karar verebilirsiniz. Daha ziyade bu amaçların ne olduğuna bağlıdır.

Dsimcha'nın cevabına katılmama izin verin: "Normallik testi zaman kaybıdır ve örneğiniz bunun nedenini göstermektedir." Normallik testi asla zaman kaybı değildir, her zaman verilerinizden öğrenebilirsiniz. Ayrıca, bazı analizler yapmadan önce test etmeniz gereken bazı durumlar vardır (örn. ANOVA, regresyon vb.). Nispi büyük numune boyutlarının çizim (QQplot, histogram) ile test edilmesi daha iyidir. Bu gibi durumlarda, görselleştirme multimodal davranışlar vb. Hakkında çok daha fazla bilgi verir.

ANOVA ve regresyon, büyük örnek boyutları ele alınırken normalliklere karşı dayanıklıdır, ancak sorunlara neden olan ana veri türü çok modlu veri örnekleridir.

Küçük örneklem büyüklüğü ile Kolgomorov-Smirnov testi esas olarak hassasiyeti nedeniyle en iyi seçenektir.

Şimdiye kadar yayınlanan diğer cevaplara biraz katılmayacağım: normallik için yapılan bu testler, en azından belirli sapmalar için, nispeten büyük örnek boyutlarında bile, az sayıda güce sahiptir.

İşte kısa bir örnek. Ortalamaları sd ile ayrılan iki normalin bir karışımını oluşturdum.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

Gerçekten normal olsa bile% 5 oranında normallik sapmalarını "algılayacağı" düşünüldüğünde, bu çok etkileyici değildir.

Başka bir örnek: İki standart sapmanın boyutuna bir aralıkta düzgün gürültü ekliyorum. Bu oldukça gözle görülür bir şekilde normal değil.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

Yine, normallikten oldukça büyük bir ayrılma için son derece düşük güç.

Qqplot'u doğru okuduğunuzdan emin misiniz? Görebilmemiz için yükleyebilir misiniz?

Düzenleme Görsel muayene çoğu amaçlar için yeterli olması muhtemeldir olduğunu kabul ediyorum, böylece diğer taraftan, regresyon olmayan normale oldukça sağlamdır.