Medyanın aykırı maddelere karşı dirençli olduğu bilinen bir gerçektir. Bu durumda, ortalamayı ne zaman ve neden kullanalım?

Belki de düşünebileceğim bir şey, aykırı değerlerin varlığını anlamaktır; yani, medyan ortalamadan uzaksa, dağıtım çarpıktır ve aykırı değerlerle ne yapılacağına karar vermek için verilerin incelenmesi gerekir. Başka kullanım var mı?

Bir anlamda, ortalama kullanılır çünkü o verilere duyarlıdır. Dağılım simetrik hale gelirse ve kuyruklar normal dağılıma benziyorsa, ortalama, merkezi eğilimin çok etkili bir özetidir. Medyan, herhangi bir sürekli dağılım için sağlam ve iyi tanımlanmış olsa da, veriler normal bir dağılımdan geldiyse, ortalama kadar verimlidir. Bizi, kullandığımızdan daha fazla kullanmamızı engelleyen medyanın bu göreceli verimsizliğidir. Göreceli verimsizlik, örneklem büyüklüğü arttıkça küçük bir mutlak verimsizliğe dönüşür, bu nedenle büyük için medyanı kullanma konusunda daha suçsuz olabiliriz.$\frac{2}{\pi}$$n$

Bir değişim ölçüsü için (yayılma, dağılma), standart sapma kadar 0.98, yani Gini'nin ortalama farkının etkili olduğu çok sağlam bir tahmin edicinin bulunduğunu not etmek ilginçtir. Bu, herhangi iki gözlem arasındaki ortalama mutlak farktır. [Gini'nin ortalama farkı ile tahmin edilen aynı miktarı tahmin etmek için örnek standart sapmayı sabitle çarpmanız gerekir.] Merkezi eğilimin etkin bir ölçüsü, Hodges-Lehmann tahmincisi, yani tümüyle ikili araçların medyanıdır. Yorumu daha basit olsaydı daha çok kullanırdık.

Çok sayıda büyük cevap zaten var, ancak geri adım atıp biraz daha basitleşmek, bunun cevabını sorduğunuz soruya bağlı olduğu için söyleyebilirim. Ortalama ve ortanca farklı soruları cevaplar - bazen biri uygun, bazen diğer.

Medyanın aykırı değerler olduğunda, ya da çarpık dağılımlarda ya da her neyse kullanılması gerektiğini söylemek kolaydır. Ama bu her zaman böyle değildir. Gelir al - hemen hemen her zaman medyanla rapor edilir ve genellikle doğru olur. Ancak, bütün bir topluluğun harcama gücüne bakıyorsanız, bu doğru olmayabilir. Ve bazı durumlarda, mod bile en iyisi olabilir (özellikle veriler gruplandırılmışsa).

Bir değer bizim için çöp olduğunda biz buna "aykırı" diyoruz ve analizin ona karşı güçlü olmasını istiyoruz (ve medyanı tercih edin); aynı değer çekici olduğunda biz buna "aşırı" diyoruz ve analizin ona duyarlı olmasını istiyoruz (ve ortalamayı tercih ediyorum). Diyalektik ...

Ortalama, dağılımın gerçekleştiği yere bakılmaksızın bir değer değişikliğine eşit tepki verir. Örneğin, 1 2 3 4 5sizde 2 ile herhangi bir değeri artırabilir - ortalamanın artışı aynı olacaktır. Medyan'ın tepkisi daha az "tutarlı" dır: 4 veya 5 veri noktalarına 2 ekleyin ve medyan artmayacaktır; ancak 2. noktaya 2 ekleyiniz - kayma medyanın üzerindedir ve medyan dramatik bir şekilde değişir (ortalamanın büyük ölçüde değişeceğinden büyük ölçüde).

Ortalama her zaman tam olarak bulunur. Ortanca değil; örneğin, sette 2 ile 3 arasındaki 1 2 3 4 herhangi bir değere medyan denilebilir. Bu nedenle, medyanlara dayalı analizler her zaman benzersiz bir çözüm değildir.

Ortalama, minimum kareler toplamı sapmalarının bir odağıdır. Doğrusal cebire dayanan pek çok optimizasyon görevi (ünlü OLS regresyonu dahil) bu karesel hatayı en aza indirger ve dolayısıyla ortalama kavramını ima eder. Ortanca minimum mutlak-toplam sapma toplamı odağı. Bu hatayı en aza indirmek için optimizasyon teknikleri doğrusal değildir ve daha karmaşık / kötü bilinmektedir.

Bu sorunun çok cevabı var. İşte muhtemelen başka bir yerde görmeyeceğinizden biri, bu yüzden buraya ekliyorum çünkü konuyla ilgili olduğuna inanıyorum. İnsanlar genellikle, medyanın aykırı değerlere karşı sağlam bir önlem olarak kabul edildiğinden, çoğu şeyin de sağlam olduğunu düşünür. Aslında, çarpık dağıtımlarda yanlılığa karşı dayanıklı olduğu da düşünülmektedir. Medyanın bu iki sağlam özelliği genellikle birlikte öğretilir. Altta yatan eğri dağılımların da aykırı değerlere sahip gibi görünen küçük örnekler üretme eğiliminde olduğu ve geleneksel bilgeliğin, böyle durumlarda medyan kullandığı söylenebilir.

#function to generate random values from a skewed distribution
rexg <- function (n, m, sig, tau) {
    rexp(n, rate = 1/tau) + rnorm(n, mean = m, sd = sig)
    }

(Bunun çarpık ve temel şekil olduğuna dair bir gösteri)

hist(rexg(1e4, 0, 1, 1))

Şimdi, bu dağıtımdan çeşitli örneklem büyüklüklerini örneklendirirsek ve medyanı hesaplarsak ve aralarındaki farkların ne olduğunu görmek istersek ne olacağını görelim.

#generate values with various n's
N <- 1e4
ns <- 2:30
y <- sapply(ns, function(x) mean(apply(matrix(rexg(x*N, 0, 1, 1), ncol = N), 2, median)))
plot(ns,y, type = 'l', ylim = c(0.85, 1.03), col = 'red') 
y <- sapply(ns, function(x) mean(colMeans(matrix(rexg(x*N, 0, 1, 1), ncol = N))))
lines(ns,y)

Yukarıdaki çizimden görülebileceği gibi, ortanca (kırmızı), ortalığa n'den çok daha hassastır. Bu, özellikle dağılımı bükülmüşse, düşük ns'li medyanların kullanılmasıyla ilgili bazı geleneksel bilgeliğe aykırıdır. Ve, ortanca bilinen bir değer olduğu anlamına gelirken, medyan diğer özelliklere duyarlıdır;

Bu analiz Miller, J. (1988) 'e benzer. Medyan reaksiyon zamanı hakkında bir uyarı. Deneysel Psikoloji Dergisi: İnsan Algısı ve Performansı , 14 (3): 539-543.

REVİZYON

Çarpıklık sorununu düşündüğümde, medyan üzerindeki etkinin sadece küçük örneklerde medyanın dağılımın kuyruğunda olma ihtimalinin daha yüksek olması ihtimalinin olabileceğini düşündüm. modu. Bu nedenle, belki de bir kişi aykırı bir olasılıkla örnekleme yapıyorsa, o zaman aynı sonuçlar ortaya çıkabilir.

Bu yüzden aykırı olayların olabileceği durumlar hakkında düşündüm ve deneyciler onları ortadan kaldırmaya çalıştı.

Eğer aykırı değerler, örneğin her veri örneklemesinden birinde olduğu gibi tutarlı bir şekilde gerçekleştiyse, medyanlar bu aykırı etkisine ve medyanların kullanımıyla ilgili konvansiyonel öykünün etkisine karşı sağlamdır.

Ama genellikle işler böyle gitmez.

Bir deneyi çok az sayıda hücrede bir outlier bulabilir ve bu durumda ortalama yerine medyan kullanmaya karar verebilir. Yine, medyan daha sağlamdır, ancak gerçek etkisi göreceli olarak düşüktür çünkü çok az aykırı değer vardır. Bu, kesinlikle yukarıdakilerden daha yaygın bir durum olacaktır, ancak medyan kullanmanın etkisi muhtemelen çok da önemli olmayacaktı.

Muhtemelen daha yaygın aykırı değerler, verilerin rastgele bir bileşeni olabilir. Örneğin, popülasyonun gerçek ortalama ve standart sapması yaklaşık 0 olabilir, ancak ortalamanın 3 olduğu bir dışlayıcı popülasyondan örnekleme zamanımızın bir yüzdesi vardır. Bu tür bir popülasyonun numuneyi değiştirdiği örneklemin bulunduğu aşağıdaki simülasyonu göz önünde bulundurun boyut.

#generate n samples N times with an outp probability of an outlier.
rout <- function (n, N, outp) {
    outPos <- sample(0:1,n*N, replace = TRUE, prob = c(1-outp,outp))
    numOutliers <- sum(outPos)
    y <- matrix( rnorm(N*n), ncol = N )
    y[which(outPos==1)] <- rnorm(numOutliers, 4)
    return(y)
    }

outp <- 0.1
N <- 1e4
ns <- 3:30
yMed <- sapply(ns, function(x) mean(apply(rout(x,N,outp), 2, median)))
var(yMed)
yM <- sapply(ns, function(x) mean(colMeans(rout(x,N,outp))))
var(yM)
plot(ns,yMed, type = 'l', ylim = range(c(yMed,yM)), ylab = 'Y', xlab = 'n', col = 'red') 
lines(ns,yM)

Ortanca kırmızıdır ve siyahtır. Bu, çarpık bir dağılımınkine benzer bir bulgudur.

Aykırı değerlerin etkilerinden kaçınmak için medyanların kullanımına ilişkin nispeten pratik bir örnekte, medyan kullanıldığında tahminin n'den daha fazla etkilendiği durumlar ortaya çıkmaktadır.

• Tüm öğelerin toplamını hesaplamak kolaydır; örneğin, nüfusun ortalama gelirini ve nüfusun büyüklüğünü biliyorsanız, derhal tüm nüfusun toplam gelirini hesaplayabilirsiniz.

• Ortalama, O(n)zaman karmaşıklığında hesaplamak için basittir . Medyanı lineer zamanda hesaplamak mümkündür ancak daha fazla düşünce gerektirir. Sıralama gerektiren açık çözüm, O(n log n)zamanın karmaşıklığını daha da kötüleştiriyor .

Ve ortalamanın medyandan daha popüler olmasının başka bir nedeni olduğunu düşünüyorum:

• Ortalama okulda daha fazla kişiye öğretilir ve muhtemelen ortanca öğretmeden önce öğretilir

"Medyan'ın aykırı maddelere karşı dirençli olduğu biliniyor. Bu durumda, ortalamayı ne zaman ve neden kullanalım?"

Birinin bildiği durumlarda aykırı değer yoktur, örneğin biri veri üretme sürecini bilir (örneğin matematiksel istatistiklerde).

Kişi önemsizdir, bu iki niceliğin (ortalama ve ortanca) aslında aynı şeyi ölçmemesi ve çoğu kullanıcının eskisi ile gerçekten ilgilenmesi gerekenleri ne zaman ilkine sormaları gerektiğine işaret etmelidir. Ortanca tabanlı Wilcoxon testleri, t testlerinden daha kolay yorumlanmaktadır).

Daha sonra, bazı sebep sebepleri veya başka sebeplerden dolayı, bazı düzenlemelerin, demek istediğini kullandığı durumlar vardır.

Bu endişe aykırı değerlerin varlığından büyükse, verilerinizi kontrol etmenin bazı basit yolları vardır.

Aykırı değerler, neredeyse tanım gereği, verileri üreten süreçte veya veri toplama sürecinde bir şey değiştiğinde verilerimize gelir. yani veriler homojen değildir. Verileriniz homojen değilse, ne ortalama ne de medyan anlamlı değildir, çünkü birbirine karıştırılmış iki ayrı veri setinin merkezi eğilimini tahmin etmeye çalışıyorsunuzdur.

Homojenliği sağlamak için en iyi yöntem, tüm verilerinizin tek bir süreç kümesinden gelmesini sağlamak için veri üreten ve toplama süreçlerini incelemektir. Burada hiçbir şey biraz beyin gücünü yenemez.

İkincil bir kontrol olarak, birkaç istatistiksel testten birine başvurabilirsiniz: ki-kare, Dixon'ın Q-testi, Grubb testi veya kontrol çizelgesi / işlem davranış çizelgesi (tipik olarak X-bar R veya XmR). Tecrübelerime göre, verileriniz toplandığı şekilde sipariş edilebiliyorsa, işlem davranış çizelgeleri aykırı değerlerin tespitinde dışlayıcı testlerden daha iyidir. Grafikler için bu kullanım biraz tartışmalı olabilir, ancak tamamen Shewhart'ın orijinal amacı ile tutarlı olduğuna ve açıkça Donald Wheeler tarafından savunulan bir kullanım olduğuna inanıyorum . Aykırı değer testlerini veya işlem davranışı çizelgelerini kullansanız da, tespit edilen bir "aykırı" nın yalnızca potansiyel olarak sinyal verdiğini unutmayındaha fazla incelenmesi gereken homojen olmama. Neden outlier olduklarına dair bir açıklamanız yoksa, veri noktalarını atmak nadiren mantıklıdır.

R kullanıyorsanız, outliers paketi outliers testlerini sağlar ve proses davranış çizelgeleri için qcc , IQCC ve qAnalyst vardır. Qcc paketinin kullanımı ve çıktısı için kişisel bir tercihim var.

Ne zaman demek istersin?

Finanstan örnekler:

• Tahvil iadeleri:
  • Ortanca bono getirisi genellikle birkaç yüzde puan olacaktır.
  • Ortalama tahvil getirisi, varsayılan değere ve varsayılan olarak iyileşmeye bağlı olarak düşük veya yüksek olabilir. Medyan bütün bunları görmezden gelecek!
  • Yatırımcılarınıza açıklamasında iyi şanslar, "Biliyorum bu yıl fonumuz% 40 düştü çünkü tahvillerin neredeyse yarısı tahsil edilmeden kaldı, ancak medyan tahvilimiz% 1 döndü!"
• Risk sermayesi iadeleri:
  • Tersi aynı şey. Ortanca VC ya da melek yatırımı büstür ve tüm kazançlar bir kaç kazanandan gelir! (Yan not / uyarı: risk sermayesi veya özel sermaye getirisi tahminleri oldukça sorunludur ... dikkatli olun!)

Çeşitlendirilmiş bir portföy oluştururken, neye yatırım yapacağınıza ve ne kadara karar vereceğinize karar verdiğinizde, getirilerin ortalama ve kovaryansı optimizasyon probleminizi belirgin şekilde etkileyecektir.