Bir aykırı titiz tanımı?

İnsanlar genellikle istatistiklerle aykırı davranmaktan bahseder. Bu konuda beni rahatsız eden şey, söyleyebildiğim kadarıyla bir aykırı tanımının tamamen öznel olmasıdır. Örneğin, bazı rasgele değişkenlerin gerçek dağılımı çok kuyruklu veya iki modlu ise, aykırı değerlerin tespiti için herhangi bir standart görselleştirme veya özet istatistiği, örneklemek istediğiniz dağıtımın parçalarını hatalı şekilde kaldıracaktır. Varsa, bir aykırıcının titiz bir tanımı nedir ve eğer varsa, aykırı değerlere mantıksız miktarlarda öznellik getirmeden analiz edilebilir mi?

Verileriniz bilinen özelliklere sahip bilinen bir dağıtımdan geldiği sürece, dikkatsizce, gözlenen işlem tarafından yaratılması muhtemel olmayan bir olay olarak kesin olarak tanımlayabilirsiniz (eğer "zor olmadı" deyince tüm hipotez testleri).

Bununla birlikte, bu yaklaşım iki düzeyde sorunludur: Verilerin bilinen özelliklere sahip bilinen bir dağıtımdan geldiğini varsayar ve aykırı değerlerin bazı büyülü armalar tarafından belirlenen verilerinize kayan veri noktaları olarak görülmesi riskini getirir.

Büyülü veri hatalarının yokluğunda, tüm veriler denemenizden gelir ve bu nedenle aykırı değerlere sahip olmak mümkün değildir, sadece garip sonuçlar elde etmek mümkün değildir. Bunlar, kayıt hatalarından (örneğin, 4 dolarlık bir 400000 yatak odalı ev), sistematik ölçüm sorunlarından (nesne analiz sınırına çok yakınsa görüntü analiz algoritması büyük alanları bildirir), deneysel problemlerden (bazen kristaller çözeltiden çöker) ortaya çıkabilir çok yüksek bir sinyal verir) veya sisteminizin özellikleri (bir hücre bazen iki yerine üçe bölünebilir), ancak bunlar nadiren ve araştırma yaptığınız için hiç kimsenin hiç düşünmediği bir mekanizmanın sonucu olabilir. Bu, yaptığınız bazı şeylerin henüz bilinmediği anlamına gelir.

İdeal olarak, her aykırı araştırmak için zaman ayırırsınız ve yalnızca modelinize neden uymadığını anladıktan sonra veri kümenizden kaldırırsınız. Bu, zaman alıcı ve özneldir, çünkü nedenler deneye oldukça bağımlıdır, ancak alternatif daha kötüdür: Aykırı değerlerin nereden geldiğini anlamadıysanız, aykırı değerlerin sonuçlarınızı "karıştırmasına" izin verme seçeneğiniz vardır. veya anlayış eksikliğinizi gizlemek için bazı "matematiksel açıdan titiz" bir yaklaşım tanımlamak Başka bir deyişle, "matematiksel titizlik" peşinde koşarak, önemli bir etki yapmama ve cennete girmemeyi seçersiniz.

DÜZENLE

Sahip olduğunuz tek şey, nereden geldiklerini bilmeden bir sayılar listesi ise, bir veri noktasının bir outlier olup olmadığını söylemenin hiçbir yolu yoktur, çünkü her zaman tüm verinin uygun olmadığı bir dağıtımı varsayabilirsiniz.

Aykırı olanları çıkarmanın öznel bir egzersiz gibi görünebileceği konusunda haklısın ama bu yanlış olduğu anlamına gelmez. Veri analizinizle ilgili her karar için her zaman titiz bir matematiksel nedene sahip olmak zorunda olan zorunlu gereksinim, yine de, subjektif bir alıştırma olduğu ortaya çıktıktan sonra ince bir yapay titizlik perdesidir. Bu özellikle, karşılaştığınız her duruma aynı matematiksel gerekçeyi uygulamak istiyorsanız geçerlidir. (Her şey için kurşun geçirmez net matematiksel kurallar olsaydı, o zaman bir istatistikçiye ihtiyacınız olmazdı.)

Örneğin, uzun kuyruk dağıtım durumunuzda, aykırı değerlerle temel bir faiz dağılımı veya aykırı değerlerden yalnızca birinin bir parçası olan iki temel faiz dağılımı olup olmadığına karar vermek için hiçbir garanti yöntemi yoktur. Veya, cennet yasak, sadece gerçek veri dağıtımı.

Ne kadar fazla veri toplarsanız, dağılımın düşük olasılık bölgelerine o kadar fazla girersiniz. 20 örnek toplarsanız çok düşük bir olasılıkla 3.5 puan z ile bir değer elde edersiniz. 10.000 örnek toplarsanız büyük olasılıkla bir tane alırsınız ve bu dağılımın doğal bir parçasıdır. Yukarıda verilenlere göre, bir şeyi dışlamak için aşırı olduğu için nasıl karar verirsiniz?

Genel olarak analiz için en iyi yöntemleri seçmek genellikle özneldir. Mantıklı olamayacak kadar öznel olup olmadığı, kararın açıklamasına ve alıcının kararına bağlıdır.

Verileri ortaya çıkaran temel sürecin bir modelini varsaymadan bir outlier tanımlamanın mümkün olduğunu sanmıyorum. Böyle bir model olmadan, verilerin anormal veya "yanlış" olup olmadığına karar verecek bir referans çerçevemiz yoktur. Yararlı bulduğum bir alıcının tanımı, bir alıcının başka türlü iyi performans gösteren bir modele bağdaştırılamayan bir gözlem (veya gözlemler) olduğudur.

Burada birçok mükemmel cevap var. Ancak, iki sorunun karıştığını belirtmek istiyorum. Birincisi, 'dışlayıcı nedir?', Ve daha özel olarak, bunun “titiz bir tanımını” vermek için. Bu basit:

Bir aykırı, üzerinde çalışmayı düşündüğünüzden / verilerinizin geri kalanından farklı bir popülasyon / dağıtım / veri üretme sürecinden gelen bir veri noktasıdır.

İkinci soru 'bir veri noktasının outlier olduğunu nasıl bilebilirim / saptayabilirim?' Ne yazık ki, bu çok zor. Bununla birlikte, burada verilen cevaplar (ki gerçekten çok iyi ve geliştiremeyeceğim) bu görevde oldukça yardımcı olacaktır.

Tanım 1: Daha önce de belirtildiği gibi, aynı süreci yansıtan bir veri grubundaki bir aykırı (A sürecini söyler), A işleminin sonucu olma ihtimali düşük bir gözlemdir (veya bir dizi gözlem) .

Bu tanım kesinlikle A sürecinin olasılık fonksiyonunun bir tahminini (dolayısıyla bir model) ve olası olmayan ne anlama geldiğini (yani nerede duracağına karar vermeyi ...) öngörmeyi içerir. Bu tanım, burada verdiğim cevabın temelinde bulunuyor . Daha önemlisi veya uyum iyiliği hipotez testi fikirleri ile ilgilidir .

$x$$G$$x$

Bu tanım "verilen bir model" ve doğruluk ölçüsünü içerir. Bu tanımın pratik taraftan daha fazla olduğunu ve aykırı değerlerin kökeninde olduğunu düşünüyorum. Kökeni, dış tespit, sağlam istatistikler için bir araçtır .

Açıkçası, ilk tanımdaki olasılığı hesaplamanın bir puanlama modelini ve hesaplamasını içerdiğini anlarsanız, bu tanımlar çok benzer yapılabilir. :)

Bir aykırı, bu verileri üreten süreç hakkındaki mevcut anlayışım göz önüne alındığında, bana uygun olmayan bir veri noktasıdır.

Bu tanımın yapılabileceği kadar titiz olduğuna inanıyorum.

Bir outlier'ı, tüm (2 ^ n -1) benzersiz altkümelerinde% 95 güven düzeyinde gerçekleştirilen RUM testlerine% 100 uyumluluk sağlamak amacıyla, bir veri boyutundan n çıkarılması gereken asgari öğe grubunun bir üyesi olarak tanımlayın. veri. RUM testinin tanımı için R (Eylül 2010) kullanarak pdfs'e veri uyumu hakkında Karian ve Dudewicz metnine bakınız.

Aykırıklar yalnızca sıklık aleminde önemlidir. Tek bir veri noktası, teoriniz tarafından önceden belirlenmiş temel bir dağılımla tanımlanan modelinize yanlılık eklerse, o zaman bu model için bir aykırıdır. Öznellik, teoriniz farklı bir model ortaya koyarsa, aykırı değerler olarak farklı noktalara sahip olmanız gerçeğinde yatmaktadır.