Shapiro-Wilk normallik testi ile Kolmogorov-Smirnov normallik testi arasındaki fark nedir?


Yanıtlar:


23

Kolmogorov-Smirnov, tam olarak belirlenmiş bir dağıtım için olduğu için ikisini bile karşılaştıramazsınız (bu nedenle normallik testi yapıyorsanız, ortalama ve varyansı belirtmelisiniz; verilerden tahmin edilemezler *). Shapiro-Wilk belirtilmemiş ortalama ve varyans ile normalite içindir.

* Ayrıca tahmini parametreleri kullanarak standardize edemez ve standart normal için test edebilirsiniz; bu aslında aynı şey.

Karşılaştırma yapmanın bir yolu, Shapiro-Wilk'i normalde belirtilen ortalama ve varyans için bir testle (testleri bir şekilde birleştirerek) ya da KS tablolarını parametre kestirimi için ayarlanmış hale getirerek (ancak daha sonra dağılım değil) yapmaktır. -ücretsiz).

Böyle bir test var (tahmini parametrelerle Kolmogorov-Smirnov'a eşdeğer) - Lilliefors testi; Normallik testi sürümü geçerli olarak Shapiro-Wilk ile karşılaştırılabilir (ve genellikle daha düşük güce sahip olacaktır). Daha rekabetçi olan Anderson-Darling testidir (karşılaştırmanın geçerli olması için parametre tahmini için de ayarlanması gerekir).


Test ettiklerine gelince - KS testi (ve Lilliefors) ampirik CDF ile belirtilen dağılım arasındaki en büyük farka bakarken, Shapiro Wilk iki varyans tahminini etkili bir şekilde karşılaştırırken; yakından ilişkili Shapiro-Francia, QQ arsadaki kare korelasyonun monotonik bir fonksiyonu olarak görülebilir; Doğru hatırlıyorsam, Shapiro-Wilk sipariş istatistikleri arasındaki kovaryansları da dikkate alıyor.

t30n>60

[Normallik için bunlardan daha fazla mevcut olan daha birçok test olduğu unutulmamalıdır.]


Bu ilginç bir cevap ama pratikte nasıl kullanılacağını anlamakta zorlanıyorum. Belki de bunlar farklı sorular olmalı, ancak KS testindeki parametre tahminini göz ardı etmenin sonucu nedir? Bu, Lillefors testinin, parerlerin verilerden tahmin edildiği yanlış yapılan bir KS'den daha az güce sahip olduğu anlamına mı geliyor?
russellpierce 13:13

@rpierce - Tahmini parametrelerin bilindiği gibi muamele edilmesinin asıl etkisi, gerçek önem seviyesini (ve dolayısıyla güç eğrisini) dikkate alırsanız (Lilliefors'un yaptığı gibi) olması gerekenden önemli ölçüde düşürmektir. Yani, Lilliefors KS'nin parametre tahmini için 'doğru yapılması' dır ve KS'den önemli ölçüde daha iyi bir güce sahiptir. Öte yandan, Lilliefors Shapiro-Wilk testinden çok daha kötü bir güce sahiptir. Kısacası, KS başlamak için özellikle güçlü bir test değildir ve parametre tahmini yaptığımızı göz ardı ederek daha da kötüleşiriz.
Glen_b -Regan Monica

... “daha ​​iyi güç” ve “daha ​​kötü güç” dediğimizde, insanların genellikle ilginç alternatifler olarak gördükleri şeye karşı güvenden bahsettiğimizi unutmayın.
Glen_b -Regan Monica

1
Bir güç eğrisi gördüm; düşürmenin ya da yükseltmenin ne anlama geldiğini düşünmedim ve bunun yerine Tanrı ikinci yorumunuzun başlangıcında: "aklımızda tutulması" üzerine sıkışıp kaldı. Her nasılsa bükülmüştüm ve 'daha iyi' gücün, olması gerektiği yerde güç eğrisine sahip olmak anlamına geldiğini söylüyordum. Muhtemelen KS'de aldatma ve gerçekçi olmayan bir güç elde etmemizin nedeni, tahmin için cezalandırılması gereken parametreleri vermekti (çünkü bir parametrenin bir tahminden geldiğini kabul etmemenin bir sonucu olarak alıştım) .
russellpierce

1
Bu yorumları daha önce nasıl kaçırdığımdan emin değilim, ama evet, hesaplanan p-değerleri tahmin edilmiş / belirtilmiş gibi tanımlanmış parametrelerle KS testini kullanmanın çok yüksek olma eğiliminde olduğunu hesapladı. R'de deneyin: hist(replicate(1000,ks.test(scale(rnorm(x)),pnorm)$p.value))- p-değerleri olması gerektiği gibi olsaydı, düzgün görünüyordu!
Glen_b

24

Kısaca, Shapiro-Wilk testi normallik için özel bir testtir, oysa Kolmogorov-Smirnov testi tarafından kullanılan yöntem daha genel, ancak daha az güçlüdür (yani, normalliğin boş hipotezini doğru şekilde reddeder). Her iki istatistik de null olarak normallik kazanır ve örneğe dayanan bir test istatistiği oluşturur, ancak bunların normal dağılım özelliklerine daha az veya daha az duyarlı hale gelmelerinde birbirlerinden farklıdır.

Tam olarak W'nin (Shapiro-Wilk için test istatistiği) nasıl hesaplandığını biraz içerir, ancak kavramsal olarak, örnek değerlerini boyutuna göre sıralamayı ve beklenen araçlara, varyanslara ve kovaryanslara karşı uygunluğu ölçmeyi içerir. Normallikle yapılan bu çoklu karşılaştırmalar, benim anladığım gibi, sınava, farklılık gösterebilecekleri bir yol olan Kolmogorov-Smirnov sınavından daha fazla güç veriyor.

Aksine, Kolmogorov-Smirnov'un normallik testi, beklenen kümülatif dağılımı ampirik kümülatif dağılımla karşılaştırarak, uyum iyiliğini değerlendirmek için genel bir yaklaşımdan türetilmiştir:

alt metin

Bu nedenle, dağıtımın merkezinde, kuyruklara duyarlı değil. Bununla birlikte, KS testi yakınsaktır, n'nin sonsuzluğa eğilimi olduğu gibi, testin olasılıktaki gerçek cevaba yakınsadığıdır ( Glivenko-Cantelli Teoremi'nin burada geçerli olduğuna inanıyorum , ancak biri beni düzeltebilir). Bunlar, bu iki testin normallik değerlendirmesinde farklı olabileceği iki yoldur.


3
Ayrıca ... Shapiro-Wilk'in testi genellikle küçük örneklemlerde normallikten ayrılmayı tahmin ederken kullanılır. Harika cevap, John! Teşekkürler.
aL3xa

+1, KS ile ilgili diğer iki not: herhangi bir ana dağılıma karşı test etmek için kullanılabilir (oysa SW sadece normallik içindir), ve düşük güç daha büyük numuneler için iyi bir şey olabilir .
gung - Reinstate Monica

Düşük güç nasıl iyi bir şeydir? Tip I aynı kaldığı sürece yüksek güç her zaman daha iyi olmaz mı? Ayrıca, KS genellikle daha az güçlü değil, sadece leptokurtoz için? Örneğin, KS, Tip 1 hatalarında orantılı bir artış olmadan çarpıklık için çok daha güçlüdür.
John

Kolmogorov-Smirnov tam olarak belirlenmiş bir dağıtım içindir. Shapiro Wilk değil. Bunlar karşılaştırılamaz ... çünkü karşılaştırılabilir hale getirmek için gereken ayarlamaları yaptığınız anda, bir veya diğer teste sahip değilsiniz .
Glen_b

Ayrıntılar için faydalı bir şeyler eklemek durumunda bu simülasyon çalışmasını buldum. Yukarıdaki gibi aynı genel sonuç: Shapiro-Wilk testi daha hassastır. ukm.my/jsm/pdf_files/SM-PDF-40-6-2011/15%20NorAishah.pdf
Nick Stauner
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.