«outliers» etiketlenmiş sorular

Buradaki sorumu takiben aykırı noktaları saptamak için standart sapmanın kullanımına karşı veya bunun karşısında güçlü görüşler olup olmadığını merak ediyorum (örneğin, 2 standart sapmadan daha fazlası olan herhangi bir veri noktası bir aykırıdır). Bunun çalışmanın bağlamına bağlı olduğunu biliyorum, örneğin, 48 kg veri noktası, bebeklerin kilolarının incelenmesinde kesinlikle bir aykırı …

27 outliers 

Bu SE'de temel bileşen analizine (PCA) sağlam yaklaşımları tartışan birçok mesaj var, ancak PCA'nın neden öncelikli olarak aykırı değerlere karşı duyarlı olduğuna dair tek bir iyi açıklama bulamıyorum .

26 machine-learning  pca  outliers 

Bilgisayarla görme alanında, çoğu aykırı verilere veri yerleştirmek için RANSAC (Random Sample Consensus) yöntemini kullandım. Bununla birlikte, istatistikçiler tarafından kullanıldığını hiç görmedim ve her zaman "istatistiksel olarak sağlam" bir yöntem olarak görülmediği izlenimini edindim. Neden böyle? Doğada, rastgele, analiz etmeyi zorlaştırıyor, ancak önyükleme yöntemleri de var. Yoksa sadece bir akademik …

26 outliers  bootstrap  robust 

Andrew Moore'dan İstatistiksel Veri Madenciliği Dersleri yoluyla çalışmaya başladım (bu alana ilk kez giriş yapan herkese şiddetle tavsiye edilir). Moore'un hastalık salgınlarını tespit etmek için bir algoritma oluşturmada kullanılan tekniklerin çoğunu takip ettiği "Zaman serisi temelli anomali tespit algoritmalarına giriş genel bakış" başlıklı bu son derece ilginç PDF dosyasını okuyarak …

25 time-series  outliers  signal-processing  wavelet 

Bir aykırı değerin klasik bir tanım olarak, alt veya üst çeyreğe ait 1.5 * IQR dışında bir veri noktası olarak çarpık olmayan bir dağılım olduğu varsayımı vardır. Eğri dağılımlar için (Üstel, Poisson, Geometrik, vb.), Asıl işlevin bir dönüşümünü analiz ederek bir aykırı saptamanın en iyi yolu nedir? Örneğin, üstel bir …

24 distributions  outliers  skewness  exponential  interquartile 

Doğrusal regresyon analizinde, aykırıkları analiz eder, çoklu bağdaşıklığı araştırır, heteroscedastisite test eder. Soru şudur: Bunları uygulamak için herhangi bir sipariş var mı? Demek istediğim, önce aykırı değerleri analiz etmemiz ve sonra çok kutuplulukları incelememiz gerekir mi? Veya geri? Bununla ilgili herhangi bir kural var mı?

24 regression  multiple-regression  outliers 

Çok değişkenli normal iid örneğine sahipseniz X1,…,Xn∼Np(μ,Σ)X1,…,Xn∼Np(μ,Σ)X_1, \ldots, X_n \sim N_p(\mu,\Sigma) ve (sıralama vektörü örnek bir noktadan [kare] Mahalanobis mesafe olan matris kullanılarak ağırlığı için), dağılımı ne örnek (Mahalanobis mesafe örnek kovaryans matrisi kullanılarak ortalama )?a Ad2i(b,A)=(Xi−b)′A−1(Xi−b)di2(b,A)=(Xi−b)′A−1(Xi−b)d_i^2(b,A) = (X_i - b)' A^{-1} (X_i - b)aaaAAA ˉ X Sd2i(X¯,S)di2(X¯,S)d_i^2(\bar X,S)X¯X¯\bar XSSS …

23 multivariate-analysis  outliers 

Çoklu regresyon analizleri yapıyorum ve verilerimdeki aykırı değerlerin silinip silinmemesi gerektiğinden emin değilim. Endişelendiğim veriler SPSS kutucuklarında "daireler" olarak gözüküyor, ancak yıldız işareti yok (bu onların 'o kadar da' kötü olmadıklarını düşünmeme neden oluyor). Endişelendiğim davalar çıktıdaki "casewise diagnostics" tablosunun altında görünüyor - bu nedenle bu davaları silmeli miyim?

23 regression  outliers 

Birçok farklı sayım verisi seti için aykırı tespiti içeren, basitçe ileri düz bir problem olduğunu düşündüğüm bir şeye sahibim. Spesifik olarak, bir dizi sayım verisindeki bir veya daha fazla değerin, dağıtımdaki geri sayımlara göre beklenenden yüksek veya düşük olup olmadığını belirlemek istiyorum. Şaşırtma faktörü, 3.500 dağıtım için bunu yapmam gerektiği …

21 outliers  count-data  fitting 

Yeni bir ürün özelliği için ayrı bir test yaptık ve gelirdeki artışın önemli olup olmadığını ölçmek istiyoruz. Gözlemlerimiz kesinlikle normal olarak dağıtılmamıştır (kullanıcılarımızın çoğu harcama yapmaz ve bunu yapanların içinde çok sayıda küçük harcayan ve birkaç çok büyük harcayan kişiye doğru eğilir). Araçları karşılaştırmak, normal olarak dağıtılmayan verilerin konusunu ele …

19 bootstrap  outliers 

Bu verilerden oluşturulan bir kutu grafiğine bakarak çarpıklığa nasıl karar verilir: 340, 300, 520, 340, 320, 290, 260, 330 Bir kitap der ki, "Eğer alt çeyrek medyandan üst çeyreğe göre daha uzaksa, dağılım negatiftir." Diğer bazı kaynaklar aşağı yukarı aynı şeyi söyledi. R kullanarak bir kutu çizimi yaptım. Olumsuz çarpık …

19 outliers  skewness  boxplot 

tl; Dr. discreteAnomali tespiti yaparken verilerle başa çıkmanın önerilen yolu nedir ? categoricalAnomali tespiti yaparken verilerle başa çıkmanın önerilen yolu nedir ? Bu yanıt , yalnızca sonuçları filtrelemek için ayrık verilerin kullanılmasını önerir. Belki de kategori değerini yüzdesel gözlem şansı ile değiştirebilir misiniz? giriş Bu benim ilk kez buraya gönderiyorum, …

18 machine-learning  categorical-data  outliers  discrete-data  anomaly-detection 

Bir Kutu ve Bıyık grafiği için bir aykırı standart tanımı aralığının dışındaki noktalardır ; burada ve ilk çeyrek ve verinin üçüncü çeyreğidir.{Q1−1.5IQR,Q3+1.5IQR}{Q1−1.5IQR,Q3+1.5IQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}IQR=Q3−Q1IQR=Q3−Q1IQR= Q3-Q1Q1Q1Q1Q3Q3Q3 Bu tanımın temeli nedir? Çok sayıda nokta ile mükemmel bir normal dağılım bile aykırı değerlere geri döner. Örneğin, diziyle başladığınızı varsayalım: xseq<-seq(1-.5^1/4000,.5^1/4000, by = -.00025) Bu dizi …

17 outliers  normality-assumption  qq-plot  boxplot 

Diyelim ki normal veri dağıtımı yaptım. Verilerin her bir elemanı için ortalamadan kaç SD olduğunu kontrol etmek istiyorum. Verilerde bir aykırı değer olabilir (muhtemelen sadece bir, ama aynı zamanda iki veya üç olabilir), ancak bu aykırı temelde aradığım şeydir. Şu anda baktığım öğeyi ortalama ve SD'nin hesaplanmasından geçici olarak hariç …

17 cross-validation  standard-deviation  mean  outliers 

Bazı verileri sunma konusunda rehberlik edebilirim. Bu ilk grafik, sitokin IL-10 için bir vaka kontrol karşılaştırmasıdır. El ile y eksenini% 99 veri içerecek şekilde ayarladım. Bunu manuel olarak ayarlamamın nedeni, vaka grubunun aşırı bir aykırı değer olmasıdır. Ortak çalışanlarım veri kümemize aykırı bir kaldırma işlemi yapmakta tereddüt ediyorlar. Ben iyiyim, …

17 r  data-visualization  outliers  boxplot  presentation