R - QQPlot: Verilerin normal dağılım gösterip göstermediğini

Bir Shapiro-Wilk normallik testi yaptıktan sonra bunu çizdim. Test, popülasyonun normal şekilde dağılmış olabileceğini göstermiştir. Ancak, bu arsa üzerinde bu "davranış" nasıl görülür?

GÜNCELLEME

Verilerin basit bir histogramı:

GÜNCELLEME

Shapiro-Wilk testi şöyle diyor:

" Test, popülasyonun normal şekilde dağılmasının muhtemel olduğunu gösterdi. "

Hayır; bunu göstermedi.

Hipotez testleri, boşluğun ne kadar muhtemel olduğunu söylemez. Aslında bu boşluğun yanlış olduğuna bahse girebilirsin.

QQ grafiği, normal olmadığına dair güçlü bir gösterge vermez (çizim oldukça düzdür); Belki de beklediğinizden biraz daha kısa bir kuyruk kuyruğu var ama bu gerçekten önemli değil.

Olduğu gibi histogram da pek bir şey söylemez; ayrıca biraz daha kısa bir sol kuyrukta ipucu veriyor. Ama buraya bakın

Verilerinizden gelen nüfus dağılımı tam olarak normal olmayacak. Bununla birlikte, QQ grafiği, normalliğin muhtemelen makul derecede iyi bir yaklaşım olduğunu göstermektedir.

Eğer örneklem büyüklüğü çok küçük olmasaydı, Shapiro-Wilk’in reddedilmemesi muhtemelen aynı şeyi söylerdi.

Güncelleme: gerçek Shapiro-Wilk p değerini içerecek şekilde düzenlemeniz önemlidir, çünkü aslında boş değeri tipik olarak önemli seviyelerde reddedeceğinizi gösterir. Bu test, verilerinizin normal bir şekilde dağılmadığını ve araziler tarafından gösterilen hafif eğriltmenin muhtemelen test tarafından toplandığını gösterir. Değişkenin normalliğini varsayan tipik prosedürler için (tek örnekli t-testi akla gelen bir testtir), oldukça büyük bir örneklem büyüklüğü gibi göründüğünde, bu hafif normal olmayanlık hemen hemen hiç sonuçlanmayacaktır. hepsi - uyum testlerinin iyiliği ile ilgili sorunlardan biri, sadece önemli olmadıklarında reddetme olasılıkları (örneklemin normal olmayan bir düzensizliği tespit edebilecek kadar büyük olduğunda); Benzer şekilde, en önemli olduğu zaman reddetme olasılıkları daha yüksektir (örneklem büyüklüğü küçük olduğunda).

Veriler normal olarak dağıtılırsa, QQ normal arsadaki noktalar düz bir çapraz çizgide bulunur. Eğer komutla çizmek QQ için bu satırı ekleyebilirsiniz qqline(x), xdeğerlerin vektörüdür.

Normal ve normal olmayan dağılım örnekleri:

Normal dağılım

set.seed(42)
x <- rnorm(100)

QQ normal çizgi ile arsa:

qqnorm(x); qqline(x)

Düz çizgiden sapmalar minimumdur. Bu normal dağılım gösterir.

Histogram:

hist(x)

Normal olmayan (Gama) dağılımı

y <- rgamma(100, 1)

QQ-normal arsa:

qqnorm(y); qqline(y)

Noktalar açıkça düz çizgiden başka bir şekli takip ediyor.

Histogram normal olmayanlığı onaylar. Dağılım çan şeklinde değil, olumlu yönde eğridir (yani, çoğu veri noktası alt yarıdadır). Normal dağılımların histogramları, dağılımın merkezinde en yüksek frekansı gösterir.

hist(y)

R’de normallik varsayımının geçerliliğini kontrol etmek için bazı araçlar

library(moments)
library(nortest)
library(e1071)

set.seed(777)
x <- rnorm(250,10,1)

# skewness and kurtosis, they should be around (0,3)
skewness(x)
kurtosis(x)

# Shapiro-Wilks test
shapiro.test(x)

# Kolmogorov-Smirnov test
ks.test(x,"pnorm",mean(x),sqrt(var(x)))

# Anderson-Darling test
ad.test(x)

# qq-plot: you should observe a good fit of the straight line
qqnorm(x)
qqline(x)

# p-plot: you should observe a good fit of the straight line
probplot(x, qdist=qnorm)

# fitted normal density
f.den <- function(t) dnorm(t,mean(x),sqrt(var(x)))
curve(f.den,xlim=c(6,14))
hist(x,prob=T,add=T)

Sezgilerinizin bazı testlerin sonucuyla eşleşip eşleşmediğini görsel olarak kontrol etmek iyi bir fikir olsa da, bunun her zaman kolay olmasını bekleyemezsiniz . Higgs Boson'u tespit etmeye çalışan insanlar, yalnızca görsel olarak değerlendirebilselerdi sonuçlarına güvenirse, çok keskin bir göze ihtiyaçları olacaktır.

Özellikle büyük veri kümeleriyle (ve dolayısıyla tipik olarak artan güce sahip) istatistikler çıplak gözle görülemeyecek olsalar bile en küçük farkları toplama eğilimindedir.

Söyleniyor: normalliği için, QQ-arsa düz bir çizgi göstermelidir: öyle olmadığını söyleyebilirim. Kuyruklarda net virajlar var, hatta ortada bile bazı kargaşalar var. Görsel olarak, yine de (normalliği kontrol etme hedefine bağlı olarak) bu verinin "makul" normal olduğunu söylemeye istekli olabilirim.

Ancak, normalliği kontrol etmek istediğiniz birçok amaç için, gözlemlerin normalliği yerine araçların normalliğine ihtiyacınız vardır, bu nedenle merkezi limit teoremi sizi kurtarmak için yeterli olabilir. Ek olarak: normallik genellikle “resmi olarak” kontrol etmeniz gereken bir varsayım olsa da, birçok testin bu varsayımı yerine getirmemeye karşı oldukça duyarsız olduğu gösterilmiştir.

'R' kütüphanesi 'arabasının' versiyonunu seviyorum çünkü sadece merkezi eğilimi değil, güven aralıklarını da sağlıyor. Verilerin davranışının varsayımsal dağıtım ile tutarlı olup olmadığını onaylamaya yardımcı olmak için görsel rehberlik sağlar.

library(car)

qqPlot(lm(prestige ~ income + education + type, data=Duncan), 
       envelope=.99)

bazı bağlantılar:

• QQ arsa yorumu
• http://exploringdatablog.blogspot.com/2011/03/many-uses-of-qq-plots.html
• https://stackoverflow.com/questions/19392066/simultaneous-null-band-for-uniform-qq-plot-in-r
• https://philmikejones.wordpress.com/2014/05/12/regression-diagnostics-r/