Ortanca ortalamadan daha mı adil?

Son zamanlarda, aykırı değerleri ortadan kaldırmak için genellikle medyan kullanmamanız gerektiği tavsiyesini okudum. Örnek: Aşağıdaki makale http://www.amazon.com/Forensic-Science-Introduction-Scientific-Investigative/product-reviews/1420064932/

Şu anda 16 yorum var:

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

Mean kullandıkları için makale 4 yıldız alır, ancak Medyan kullanırlarsa 5 yıldız alırlar.

Medyan 'daha adil' bir yargıç değil mi?

Bir deney, medyanın hatasının daima ortalamadan daha büyük olduğunu göstermektedir. Ortanca daha kötü mü?

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)

Sorun şu ki, iyi veya adil bir puan almanın ne anlama geldiğini gerçekten tanımlamamışsınızdır. @ Kevin'in cevabına yaptığı bir yorumda, kötü bir inceleme bir öğeyi devirirse beğenmemenizi öneririz. Ancak birinin "mükemmel kaydı" ve diğerinin kötü bir incelemesi olduğu iki öğeyi karşılaştırmak, belki de bu farkın yansıtılması gerekir.

Ortalama ve ortalama arasında bir bütün (yüksek boyutlu) süreklilik vardır. Oyları değere göre sıralayabilir, ardından o sıradaki konuma bağlı olarak ağırlıklarla ağırlıklı bir ortalama alabilirsiniz. Ortalama, tüm ağırlıkların eşit olmasına karşılık gelir, medyan, sıfır olmayan ağırlıkta ortadaki sadece bir veya iki girişe karşılık gelir, kesilmiş bir ortalama, ilk ve son çift hariç hepsine aynı ağırlık vermeye karşılık gelir, ancak aynı zamanda inci out n ağırlığa sahip numuneler $k$$n$ veyaexp(-(2k-1-n)$\frac{1}{1 + (2 k - 1 - n)^2}$, orada rastgele bir şey atmak. Belki de aykırı değerlerin daha az ağırlık aldığı, ancak yine de sıfır olmayan bir miktarın bulunduğu ağırlıklı bir ortalama, medyan ve ortalamaların iyi özelliklerini birleştirebilir?$\exp(-\frac{(2k - 1 - n)^2}{n^2})$

Aldığınız cevap sorduğunuz soruya bağlıdır.

Ortalama ve medyan farklı sorulara cevap verir. Böylece farklı cevaplar veriyorlar. Birinin diğerinden "daha adil" olması değil. Medians genellikle yüksek eğri verilerle (gelir gibi) kullanılır. Ancak, orada bile, bazen ortalama en iyisidir. Ve bazen merkezi eğilimin HERHANGİ bir ölçüsünü istemezsiniz.

Ek olarak, merkezi eğilim ölçüsü verdiğinizde, bir miktar yayılım vermelisiniz. En yaygın eşleşmeler ortalama-standart sapma ve medyan-çeyrekler arası aralıktır. Bu verilerde, sadece 5 medyan vermek sanırım yanıltıcı veya en azından bilgisizdir. Her oy bir 5 olsaydı, medyan da 5 olurdu.

Tek seçenek 1 ila 5 aralığındaki tamsayılarsa, gerçekten bir aykırı değer olarak düşünülebilir mi?

$\alpha = 0.05$

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

Bir deney, medyanın hatasının daima ortalamadan daha büyük olduğunu göstermektedir.

Kullandığınız maliyet fonksiyonuna bağlıdır.

MSE ortalama olarak en aza indirilir. Bu nedenle MSE kullanıyorsanız medyan her zaman ortalamadan daha kötü olacaktır.

AMA, mutlak hata kullanırsanız, ortalamadan daha kötü olurdu!

Bununla ilgili güzel bir açıklama burada bulunabilir: http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/

Seçim, sorununuza ve tercihlerinize bağlıdır. Aykırı değerlerin "merkez nokta" nın konumu üzerinde büyük bir etkiye sahip olmasını istemiyorsanız, medyanı seçersiniz. Eğer aykırı değerlere önem veriyorsanız, ortalamayı seçersiniz.

Kısa bir düşünce:

Her bir derecelendirmenin gizli bir sürekli değişkenden alındığını varsayarsanız, bu temel sürekli değişken değişkenin medyanını, bu temel dağılımın ortalaması yerine ilgi değeriniz olarak tanımlayabilirsiniz. Dağılımın simetrik olduğu durumlarda, ortalama ve medyan sonuçta aynı miktarları tahmin edecektir. Dağılımın çarpık olduğu durumlarda, medyan ortalamadan farklı olacaktır. Bu durumda, aklıma göre, medyan tipik değer olarak düşündüğümüze daha fazla karşılık gelecektir. Bu, medyan gelirinin ve medyan konut fiyatlarının neden ortalamadan ziyade tipik olarak rapor edildiğini anlamanın bir yoludur.

Ancak, az sayıda ayrık değeriniz olduğunda, medyan düşük performans gösterir.

Belki de, bazı yoğunluk tahmin prosedürünü kullanabilir ve ardından bunun medyanını alabilir veya enterpolasyonlu medyan kullanabilirsiniz.

Medyanı yıldız derecelendirmeleri için kullanmanın en iyi yanı, akıllı kullanıcıların (medyanın kullanımının farkında olarak) sistemi "oyun "lamayacağıdır:

Rasyonel bir kullanıcı uygun derecelendirmenin 4 yıldız olması gerektiğini düşünüyorsa, ancak şu anda 4,5 yıldıza sahipse, o zaman dört yıldıza ulaşmanın en iyi yolu (altı oydan fazla olduğu varsayılarak) ortalama bir derecelendirme sisteminde 1 yıldız oy kullanmaktır .

Medyan tabanlı bir sistemdeyken, kullanıcının rasyonel seçimi, kullanıcının ürünün sahip olması gerektiğini düşündüğü yıldız sayısını tam olarak oylamaktır.

Yıldız derecelendirme sistemleri için ikinci fiyat açık artırmasına eşdeğerdir.

Birkaç iyi yanıt daha fazla yorum için yer bırakıyor.

Birincisi, hiç kimse medyanın aykırı değerleri ortadan kaldırmaya yönelik olduğu fikrine itiraz etmedi, ancak bunu nitelendireceğim. Amaçlanan anlam açıktır, ancak gerçek verilerin daha karmaşık olması kolaydır. En fazla medyan, aykırı değerleri indirim veya yok saymayı amaçlamaktadır, ancak bu bile garanti edilmez. Örneğin, 1 1 1 5 5 5 puanları ile medyan ve ortalama 3'te hemfikir, bu yüzden her şey iyi görünebilir. Ancak fazladan 5 medyanı 5'e, ekstra 1 medyanı 1'e getirir. Ortalama her durumda yaklaşık 0.286 hareket eder. Dolayısıyla burada ortalama medyandan daha dirençlidir. Örnek olağandışı olarak reddedilebilir, ancak aşırı değildir. Bu nokta doğal olarak orijinal değil. Yapıldığı bir yer Mosteller, F. ve Tukey, JW 1977. Veri Analizi ve Regresyon. Reading, MA: Addison-Wesley, s.34-35.

İkincisi, kesilmiş araçlardan bahsedildi ve fikir daha büyük bir itmeyi hak ediyor. Ortalama ve medyan keskin alternatiflere ihtiyaç duymaz, böylece analistin birini veya diğerini seçmesi (oy vermesi) gerekir. Her kuyrukta belirli sayıda değeri kırpmaya dayalı olarak mümkün olan tüm kesilmiş araçları düşünebilirsiniz . Tablo, ortalamanın hesaplanmasına dahil edilen değerlerin sayısını # olarak gösterir:

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

Buradaki ana resim, aşırı değerler nedeniyle kapalı olma riskine karşı bir tür sigorta olarak indirim oranınızı (her kuyrukta şüpheli olarak çok fazla değeri göz ardı edebilirsiniz) seçebilmenizdir. Gördüğüm, burada beklenen ortalama ve medyan arasında oldukça düzgün bir gradyan, çünkü verilerin 1, 2, 3, 4, 5 değerlerinin hepsi mevcut. İzole edilmiş bir aykırı değer ile dizide büyük bir sıçrama bekleniyor.

Her kuyrukta eşit sayıları kesmek için kesilmiş araçlarla ilgili bir yükümlülük yoktur, ancak bunu genişletmeyeceğim.

Üçüncü olarak, örnek Amazon incelemelerinden kaynaklanmaktadır. Bağlam, verilerin nasıl özetlenmesini istediğinizde yol gösterir . Amazon yorumları durumunda en iyi cevap yorumları okumaktır! Yüksek ve düşük dereceler benzer şekilde sahte gerekçelerle olabileceği için (dolaylı olarak: bu kitabın yazarı arkadaşımdır) ve / veya kararınızla ilgisiz (açıkça: yeniden satıcı bana kötü muamele etti), bana açık bir şey yok bu tür verilerin nasıl özetleneceği ve aslında Amazon'un maksimum düzeyde bilgilendirici olduğunu göstererek.

Dördüncüsü ve en temel ama aynı zamanda en temel olanı, sizi kim seçiyor? Bazen hem ortalama hem de medyan rapor edilmelidir (ve söylendiği gibi bir dağıtım grafiği de).