Aykırı değerlerin verilerden kaldırılması - kaldırabileceğiniz maksimum aykırı değer sayısı?

Verilerimde birkaç aykırı değer var ve bunların sonuçları değiştirip değiştirmediğini görmek için onları hariç tutmak istiyordum. Sizce kişinin kendini sınırlaması gereken maksimum aykırı değer sayısı nedir?

Teşekkürler! resim açıklamasını buraya girin

outliers

— Kristie
kaynak

Grafiğiniz burada karıştırılıyor: y eksenindeki sayısal etiketler eksik ve gösterge girişleri farklı değil. (Bu, yayınlanmamış verileri gizlemenin bir yolu olabilir, ancak size iyi tavsiyeler vermemize yardımcı olmaz.) Şifreli efsane sorunuzu etkilemez, ancak hangi ölçekte çalıştığınızı bilmemek yararlı cevapların kapsamını sınırlar . Gösterildiği gibi veriler orta sol veya negatif çarpıklık gösterir; bu mantıklı olabilir ve görünen aykırı değerler bunun sonuçları olabilir. Alternatif olarak, aşırı dönüştürülmüş olabilirsiniz, örneğin verilerin bunu hak etmediği logaritmalar kullandınız.

— Nick Cox

Yanıtlar:

Maksimum veya minimum yoktur. Aykırı değerler, veriyi kötüyse veya kaldırmanın başka önemli nedenleri varsa kaldırılmalıdır. Önemli bir neden yoksa, aykırı değerlere karşı sağlam yöntemler kullanmanızı öneririm. Aykırı değerleri diğer noktalardan biraz uzakta oldukları için kaldırmam.

— Peter Flom
kaynak

Kabul. Hunter & Hunter Box'a dikkat edin: "Deneyciler için İstatistikler" kimya endüstrisinde aykırı değerlerin genellikle yeni patentlerle sonuçlandığını söylüyor! Koşullara bağlı olarak, aykırı değerler verilerinizdeki en önemli tek bilgi parçası olabilir! Bunları çıkarmak asla kolay olmamalıdır.

— kjetil b halvorsen

Ayrıca astrofizikte. "Sadece kara delikleri ve nötron yıldızlarını verilerden silelim" :-).

— Peter Flom

Peter Flom: Evet! Ve insanlar arasında, eğer aramızda aykırı değer olmasaydı, hala taş çağında yaşıyor olurduk!

— kjetil b halvorsen

Bu örnekte, etiketli aykırı değerlerin 7'sinin hepsinin düşük değerlere sahip olduğunu, hiçbirinin yüksek değerlere sahip olmadığını unutmayın. Bu, ölçümle ilgili sorunları temsil edebilir veya çok ilginç bir şey anlamına gelebilir. Her iki durumda da, düşük değerlere neyin yol açtığını düşünmeden burada aykırı değerleri kaldırmak tavsiye edilemez gibi görünebilir.

— EdM

Soruyu biraz farklı yorumluyorum. Bu cevabın dolaylı olarak varsaydığı şey, aykırı değerlerin analizden çıkarılmasını önermez. Sadece "bunun sonuçları değiştirip değiştirmediğini görmek için" duyarlılık analizinin nasıl yapılacağını sorar . Neden analiz ortaya çıkarsa sonraki kararlar üzerinde bazı etkiye sahip çok açık ve - burada Aykırı kaldırmak konusunda verilen danışmanlık rağmen gayet olan uçlara karşı duyarlıdır - durumda OP'ın çıkarlarına hizmet etmek görünmüyor.

— whuber

Başka bir cevap ve yorumda söylenen bir şeye vurgu yapardım (Sanırım @Peter Flom'un cevapları doğru ve EdM ölçümler hakkında doğrudan temas halinde).

Verileri analiz etmek, dikkatle yapılması gereken bir şeydir. İletişiminizdeki aykırı değerlerin anlamının çok iyi farkında olmalısınız. Örneğin, ölçüm prosedürünüzün "doğru" yapıldığını varsayarsak (yani, önyargıları koymadınız, ekipmanınız kalibre edildi, cihazı okuyan kişi doğru yaptı, vb.), Bazı aykırı değerler ilginç bir şey söyleyebilir ve bazen çok önemli.

İşte hazırlanmış bir örnek, eğer tüm yönlerde% 100 doğru değilse lütfen kayıtsız olun (yorumlarda belirtin). ;)

Birisinin bazı bakteri kültürlerine (popülasyonlarına) belirli miktarda madde uygulama etkisini test ettiğini varsayalım. Şimdi, "genel olarak" etki, popülasyondaki bakteri sayısını stabilize etmektir, ancak farklı kültürler arasında bazı aykırı değerler vardır.

Tüm aykırı değerlerin tüm bakterilerin öldüğü durumları gösterdiğini düşünün. Ya da tüm aykırı değerler bakteri popülasyonlarının kontrolden çıktığı kültürleri temsil eder.

Belirtmek istediğim, algılanan aykırı değerlerin doğasının anlamlı olabileceği ve her birinin sonuçlarının farklı olduğu. Bakteri sayısının artmasının veya azalmasının dayanılmaz olduğu bir durumda olabilirsiniz.

Tabii ki, madde tarafından silindiği bazı popülasyonların, kolayca tanınan bir durum olduğu için muhtemelen konuyu araştıracağınızı fark ettiyseniz. Ancak tüm fenomenler kolayca tespit edilemez.

Özetlemek gerekirse, aykırı değerler kavramı biraz keyfidir, ancak anlamları çoklu ve farklı öneme sahiptir. Umarım bu konuda düşünmenizi sağlar ... :)

— Doombot
kaynak