Aykırı değerleri tespit etmek için IQR ne kadar doğrudur

İşlemlerin çalışma sürelerini analiz eden bir komut dosyası yazıyorum. Onların dağıtım emin değilim ama bir sürecin "çok uzun" çalışır olmadığını bilmek istiyorum. Şimdiye kadar son çalışma sürelerinin 3 standart sapmasını kullanıyorum (n> 30), ancak veriler normal değilse (ki bu görünmüyorsa) bunun yararlı bir şey sağlamadığı söylendi. Belirten başka bir aykırı test buldum:

QQ üçüncü çeyrek ve Q1 ilk çeyrek olan IQR = Q3 - Q1 olan çeyrekler arası aralığı bulun. Ardından şu iki sayıyı bulun:

a) Q1 - 1.5 * IQR b) Q3 + 1.5 * IQR

<A veya> b ise nokta bir aykırı değerdir

Verilerim 2sec, 3sec, 2sec, 5sec, 300sec, 4sec, .... gibi şeylerdir. Burada 300sec açıkça bir aykırı değerdir.

Hangi yöntem daha iyi? IQR yöntemi mi yoksa std sapma yöntemi mi?

Gerçekten aykırı değerlerin tüm kitapları var.

Her zamanki özel cevap, standart sapmanın aykırı değerlerle yukarı çekilmesidir, bu nedenle SD'ye dayanan herhangi bir kural kötü performans gösterebilir.

Teklif ettiğiniz çeyrekler +/- 1.5 IQR ile ilgili Tukey kuralları, 1970'lerde küçük ve orta boyutlu veri kümeleriyle el işçiliğinden çıktı ve ayrı ayrı düşünmek isteyebileceğiniz değerleri göstermek için tasarlandı. Çok daha büyük veri kümelerine taşıdıkları veya kayda değer bir çarpıklık beklediğinizde geçerli oldukları açık değildir.

Daha genel bir cevap, her zaman doğru kararlar verirse, daha üstün bir kuralın iyi olduğudur, ancak nasıl anlayabilirsiniz?

Bu çekişmeli bir bölge, ama ben bir aykırı bir grafik diğerlerinden çok farklı olarak dışarı sopa beklenir. Ancak, genellikle (genellikle?) Ağır kuyruklu bir dağıtımda beklediğiniz ve bir aykırı olarak kabul edilemeyecek kadar vahşi olan arasındaki farkı söylemek zor bir çağrıdır. Bazen dönüşüm, bir aykırı değeri daha sıradan bir hale getirir.

Ayrıca, sağlam yöntemler kullanırsanız, hangi değerlerin aykırı değer olarak adlandırılmayı hak ettiği konusunda genel olarak biraz daha az endişelenebilirsiniz.

Dağıtımdan emin olmadığınızı söylüyorsunuz, ancak devam eden işlemlerin toplanması ve dağıtım için değerlendirilmesi kolaydır. Sadece birkaç kez kaydedin ve bunları analiz edin. Gönderdiğiniz saatler göz önüne alındığında, birkaç saat içinde çok şey alabilirsiniz.

Bir aykırı değer kuralı aramanızın genel olması gerekmez. Görevinize özgü olabilir. Çok fazla veri toplayabilirsiniz. Toplayın, inceleyin ve bir sürecin ne kadar uzun olduğuna karar verin. Belki bir IQR tabanlı yaklaşım işe yarayacaktır, ancak simülasyonlar yapmak ve iyi çalışıp çalışmadığını görmek için veri kümenizi veya bir parametrik uyumu kullanabilirsiniz. Aynı şey SD için de geçerli. Sadece 50 yaşın üzerinde çok uzun olabilir ve tek ihtiyacınız olan bu.