Çoklu regresyon yapılırken istatistiksel yazılım tarafından aykırı olarak işaretlenmiş durumları silmek mi istiyorsunuz?

Çoklu regresyon analizleri yapıyorum ve verilerimdeki aykırı değerlerin silinip silinmemesi gerektiğinden emin değilim. Endişelendiğim veriler SPSS kutucuklarında "daireler" olarak gözüküyor, ancak yıldız işareti yok (bu onların 'o kadar da' kötü olmadıklarını düşünmeme neden oluyor). Endişelendiğim davalar çıktıdaki "casewise diagnostics" tablosunun altında görünüyor - bu nedenle bu davaları silmeli miyim?

İşaretleme outliers bir yargılama çağrısı değildir (veya herhangi bir durumda bir olması gerekmez). İstatistiksel bir model göz önüne alındığında, aykırı değerlerin kesin ve nesnel bir tanımı vardır: Verilerin çoğunluğunun şeklini takip etmeyen gözlemlerdir . Bu gözlemlerin herhangi bir analizin başlangıcında birbirinden ayrılması gerekir, çünkü verilerin büyüklüğüne olan mesafeleri, maksimum olasılıkla (ya da başka herhangi bir dışbükey kayıp fonksiyonuyla) takılan çok değişkenli bir model üzerinde orantısız bir çekiş yapmalarını sağlar.

İşaret etmek önemli olduğu, çok değişkenli aykırı ler sadece güvenilir bir en az kare uyum (veya ML tahmin başka bir modele, ya da başka bir dışbükey kaybı işlevi) gelen artıklar ile tespit edilemez. Basitçe söylemek gerekirse, çok değişkenli aykırı değerler yalnızca, kendileri tarafından sallanmaya yatkın olmayan bir tahmin prosedürü kullanılarak donatılmış bir modelden artıkları kullanılarak güvenilir bir şekilde tespit edilebilir.

Aykırı olanların gerekli olacağı inancı, klasik bir uyumun kalıntılarında göze çarpacak, p-değerlerini delil ölçüsü olarak yorumlamak ya da önyargılı bir örneklemden bir popülasyona ilişkin çıkarımı çekmek gibi istatistiki no-no'ların borçlandırılması gibi başka bir yerde duruyor. Bu bir iyi çok daha eski olabileceğini belki hariç: Gauss kendisi böyle gürültülü gözlemlerinden normal dağılımın parametrelerini tahmin etmek ortanca ve (yerine klasik ortalama ve standart sapmalarının) deli olarak sağlam tahmincisi kullanımını tavsiye (hatta gidiş deli tutarlılık faktörü türetme kadar (1)).

Gerçek verilere dayalı basit bir görsel örnek vermek için, rezil CYG yıldız verilerini düşünün . Buradaki kırmızı çizgi, en az kare uyumu, sağlam bir doğrusal regresyon uyumu kullanarak elde edilen mavi çizgiyi göstermektedir. Buradaki sağlam uyum, aykırı olanları tespit etmek için kullanılabilecek LS uyumuna alternatif olan FastLTS (2) uyumudur (çünkü herhangi bir gözlemin tahmin edilen katsayı üzerindeki etkisinin sınırlandırılmasını sağlayan bir tahmin prosedürü kullanır). Üretilecek R kodu:

library(robustbase)
data(starsCYG)
plot(starsCYG)
lm.stars <- lm(log.light ~ log.Te, data = starsCYG)
abline(lm.stars$coef,col="red",lwd=2)
lts.stars <- ltsReg(log.light ~ log.Te, data = starsCYG)
abline(lts.stars$coef,col="blue",lwd=2)

İlginç bir şekilde, soldaki 4 gözlem, LS uyumu ile ilgili en büyük kalıntılara ve LS uyumu artıklarının QQ arsalarına (veya Cook'un uzaklığı veya dfbeta) bunların hiçbirini problemli olarak gösteremedi. Bu aslında bir normdur: LS tahminlerini aykırı değerlerin bir arsada öne çıkmayacağı şekilde çekmek için (örneklem büyüklüğüne bakılmaksızın) ikiden fazla ayraç gerekmemektedir. Buna maskeleme etkisi denirve iyi belgelenmiştir. Belki de CYGstars veri setiyle ilgili dikkate değer tek şey iki değişkenli olmasıdır (dolayısıyla sağlam uyumun sonucunu doğrulamak için görsel incelemeyi kullanabiliriz) ve soldaki bu dört gözlemin neden bu kadar anormal olduğuna dair iyi bir açıklama olduğu.

Bu, btw, kuraldan çok istisnadır: küçük örnekleri ve az değişkenleri içeren küçük pilot çalışmalar dışında ve istatistiksel analizi yapan kişinin de veri toplama sürecine dahil olduğu durumlar dışında, daha önce bu konudaki inançların olduğu bir durum yaşamamıştım. aykırıların kimliği aslında doğruydu. Bu arada, doğrulaması kolay sessiz. Aykırı değerlerin bir aykırı algılama algoritması veya araştırmacıların bağırsak hissi kullanılarak tanımlanıp tanımlanmadığına bakılmaksızın, aykırı değerler, bir LS uyumundan elde edilen katsayılar üzerinde anormal bir kaldıraç (veya 'çekme') olan tanım gözlemleridir. Başka bir deyişle, aykırı değerler, numuneden çıkarılmasının LS uyumunu ciddi şekilde etkilemesi gereken gözlemlerdir.

Bunu kişisel olarak hiç deneyimlememiş olmama rağmen, literatürde bir outlier algılama algoritması tarafından outliers olarak işaretlenen gözlemlerin kaba hatalar olduğu veya farklı bir işlem tarafından üretildiği tespit edilen bazı iyi belgelenmiş durumlar vardır. Her durumda, bilimsel olarak garanti edilmez veya yalnızca bir şekilde anlaşılması veya açıklanması durumunda outliers'ı çıkarmak akıllıca değildir. Küçük bir gözlem kabilesi, verilerin ana gövdesinden şimdiye kadar çıkarılırsa, istatistiksel bir prosedürün sonuçlarını tek başına elle çekebiliyorsa, başlı başına bir işlem yapıp yapmamasına bakılmaksızın akıllıca davranmak akıllıca olur (ve doğal olabilir) Bu veri noktaları diğer alanlarda da şüpheli görünmüyor.

(1): bkz. Stephen M. Stigler, İstatistiklerin Tarihi: 1900'den Önce Belirsizlik Ölçümü.

(2): Büyük Veri Kümeleri için LTS Regresyonunun Hesaplanması (2006) PJ Rousseeuw, K. van Driessen.

(3): Yüksek Dağılma Dayanıklı Çok Değişkenli Yöntemler (2008). Hubert M., Rousseeuw PJ ve Van Aelst S. Kaynak: İstatistikçi. Sci. Cilt 23, 92-119.

Genel olarak, "aykırı değerleri" kaldırma konusunda temkinli oluyorum. Regresyon analizi normal olmayan dağılımlı hatalar, heteroskedastisite gösteren hatalar veya diğerlerinden "uzak" olan öngörücülerin / bağımsız değişkenlerin değerlerinin varlığında doğru şekilde uygulanabilir. Aykırı olanlarla ilgili asıl sorun, diğer tüm veri noktalarının takip ettiği doğrusal modeli izlememeleridir. Bunun böyle olup olmadığını nasıl bildin? Sen değil.

Herhangi bir şey varsa, değişkenlerinizin aykırı değerlerini aramak istemezsiniz; bunun yerine, artıklarınızın aykırı değerlerini aramak istiyorsunuz . Bu veri noktalarına bakın. Değişkenleri doğru kaydediliyor mu? Verilerinizin kalanıyla aynı modeli izlememelerinin bir nedeni var mı?

Tabii ki, bu gözlemlerin aykırı değer olarak görünmesinin nedeni (rezidüel teşhise göre) modelinizin yanlış olması olabilir. Aykırı olanları attıysak, gezegenlerin güneşin etrafında mükemmel çevrelerde döndüğüne hala inanacağımızı söylemekten hoşlanan bir profesör var. Kepler Mars'ı attırabilirdi ve dairesel yörünge hikayesi oldukça iyi görünüyordu. Mars, bu modelin yanlış olduğu ve bu gezegeni görmezden gelmesi durumunda bu sonucu kaçıracağı konusunda fikir verdi.

Aykırı değerlerin kaldırılmasının sonuçlarınızı çok fazla değiştirmeyeceğinden bahsettiniz. Bunun nedeni, yalnızca örneğinize göre kaldırdığınız çok az sayıda gözleminiz olması veya modelinizle oldukça tutarlı olması. Bu, değişkenlerin kendileri diğerlerinden farklı görünse de, artıklarının o kadar da iyi olmadığını söyleyebilir. Onları içeride bırakırdım ve eleştirmenlerime bazı puanları kaldırma kararımı haklı çıkarmaya çalışmam.

+1 ila @Charlie ve @PeterFlom; Orada iyi bilgi alıyorsun. Belki de sorunun öncülüne meydan okuyarak burada küçük bir katkı yapabilirim. Bir kutu grafiği tipik olarak (yazılım değişebilir ve SPSS'nin ne yaptığından emin değilim) etiketi, 'outliers' olarak üçüncü (ilk) çeyreğin üzerindeki (altta) Quartile Range'in 1.5 katından daha fazlasını gösteriyor. Bununla birlikte, tüm noktaların aynı dağılımdan geldiği gerçeğini bildiğimizde, bu noktalardan en az birini bulmayı ne kadar beklememiz gerektiğini sorabiliriz ? Basit bir simülasyon bu soruyu cevaplamamıza yardımcı olabilir:

set.seed(999)                                     # this makes the sim reproducable

outVector = vector(length=10000)                  # to store the results
N = 100                                           # amount of data per sample

for(i in 1:10000){                                # repeating 10k times
  X = rnorm(N)                                    # draw normal sample
  bp = boxplot(X, plot=FALSE)                     # make boxplot
  outVector[i] = ifelse(length(bp$out)!=0, 1, 0)  # if there are 'outliers', 1, else 0
}

mean(outVector)                                   # the % of cases w/ >0 'outliers'
[1] 0.5209

Bunun gösterdiği şey, bu tür noktaların, hiçbir şey yolunda gitmese bile, 100 büyüklükteki örneklerle sıkça (>% 50) oluşması beklenebilir. Son cümlenin ima ettiği gibi, kutu grafiği stratejisi ile sahte bir 'dışlayıcı' bulma olasılığı örneklem büyüklüğüne bağlı olacaktır:

   N    probability
  10    [1] 0.2030
  50    [1] 0.3639
 100    [1] 0.5209
 500    [1] 0.9526
1000    [1] 0.9974

Aykırı olanları otomatik olarak tanımlamak için başka stratejiler vardır, ancak bu tür bir yöntem bazen geçerli noktaları 'aykırı değerler' olarak yanlış tanımlayacaktır ve bazen de gerçek aykırı değerleri 'geçerli puanlar' olarak yanlış tanımlayacaktır. (Bunları tip I ve tip II hataları olarak düşünebilirsiniz.) Bu konuda benim düşüncem (bunun için değer), söz konusu noktaları dahil etme / hariç tutma etkilerine odaklanmaktır . Hedefiniz öngörüyse, söz konusu noktaları içeren değerin kök ortalama karesel hata hatasını arttırıp artırmayacağını belirlemek için çapraz doğrulama kullanabilirsiniz . Amacınız açıklama ise, dfBeta bakabilirsiniz(örneğin, söz konusu noktaların dahil edilip edilmemesine bağlı olarak modelinizin beta tahminlerinin ne kadar değiştiğine bakın). Başka bir bakış açısı (tartışmasız en iyisi), belirsiz noktaların atılıp atılmayacağını seçmek zorunda kalmaktan kaçınmak ve bunun yerine sadece sağlam analizler kullanmaktır.

Önce artıkların alanlarına bakmalısınız: Normal bir dağılım izler mi (kabaca)? Heteroskedastisite belirtileri gösteriyor mu? Diğer parsellere de bak (SPSS kullanmıyorum, bu yüzden bu programda tam olarak nasıl yapılacağını ya da hangi kutulara bakacağınızı söyleyemiyorum; ancak, yıldızların muhtemelen "o kadar kötü değil" anlamına geldiğini hayal etmek zor. Bunların bazı kriterlere göre sıra dışı puanlar olduğunu).

Sonra, aykırı değeriniz varsa, onlara bakın ve nedenini anlamaya çalışın.

Sonra regresyonu aykırı değerlerle ve aykırı değerlerle deneyebilirsiniz. Sonuçlar benzerse, hayat iyidir. Sonuçların tamamını bir dipnotla bildirin. Benzer değilse, o zaman her iki gerilemeyi de açıklamanız gerekir.