Ortalama Mutlak Yüzde Hatası (MAPE) eksiklikleri nelerdir?

Ortalama Mutlak Yüzde Hata ( mape ), zaman serisi veya diğer tahminler için ortak bir doğruluk veya hata ölçüsüdür

buradaki , ve tahminlere veya tahminlere karşılık gelir.$A_t$$F_t$

MAPE bir yüzdedir, bu yüzden seriyi kolayca karşılaştırabiliriz ve insanlar yüzdeleri kolayca anlayabilir ve yorumlayabilir.

Ancak MAPE'nin sakıncaları olduğunu duydum. Bu dezavantajları daha iyi anlamak istiyorum, böylece MAPE veya MSE ( mse ), MAE ( mae ) veya MASE ( mase ) gibi bir alternatif kullanıp kullanmama konusunda bilinçli bir karar verebiliyorum .

MAPE'nin Eksiklikleri

• MAPE, yüzde olarak yalnızca bölümlerin ve oranların anlamlı olduğu değerler için anlamlıdır. Örneğin, sıcaklık yüzdelerini hesaplamak mantıklı değildir, bu nedenle sıcaklık tahmininin doğruluğunu hesaplamak için MAPE kullanmamalısınız.

• Sadece bir gerçek sıfırsa, ise, tanımlanmamış olan MAPE'yi hesaplarken sıfıra bölersiniz.$A_t=0$

  Yine de, bazı tahmin yazılımlarının bu gibi seriler için bir MAPE rapor ettiği, sadece sıfır gerçek sürelerle bırakıldığı anlaşılmaktadır ( Hoover, 2006 ). Söylemeye gerek yok, bu iyi bir fikir değil , çünkü asıl sıfır olsaydı ne tahmin ettiğimizi umursamadığımız anlamına gelmez - ancak ve tahminlerinden birinin çok farklı sonuçları olabilir . Yani, yazılımınızın ne yaptığını kontrol edin.$F_t=100$$F_t=1000$

  Yalnızca birkaç sıfır oluşursa, yine de kendi sorunları olan ağırlıklı bir MAPE ( Kolassa & Schütz, 2007 ) kullanabilirsiniz. Bu aynı zamanda simetrik MAPE için de geçerlidir ( Goodwin & Lawton, 1999 ).

• % 100'den büyük MAPE'ler oluşabilir. Bazı insanların% 100 -MAPE olarak tanımladığı doğrulukla çalışmayı tercih ederseniz, bu durum insanların zor zaman anlayışı içinde olabileceği olumsuz doğruluklara yol açabilir. ( Hayır, sıfırdaki kesinliği kesmek iyi bir fikir değildir . )

• Tahmin etmek istediğimiz kesin pozitif verilere sahipsek (ve yukarıdaki başına, MAPE başka türlü anlam ifade etmiyor), o zaman asla sıfırın altında tahmin etmeyeceğiz. MAPE maalesef aşırı tahminleri düşük tahminlerden farklı olarak ele alıyor: bir düşük tahmin asla% 100'den fazla katkıda bulunmayacak (örneğin, ve ), ancak bir aşırı tahminin katkısı sınırsızdır (örneğin, ve ). Bu, MAPE'nin yanlı tahminlerde tarafsız tahminlerden daha düşük olabileceği anlamına gelir. Küçültmek, önyargılı düşük tahminlere yol açabilir.$F_t=0$$A_t=1$$F_t=5$$A_t=1$

Özellikle son kurşun noktası biraz daha düşünmeyi hak ediyor. Bunun için geri adım atmamız gerekiyor.

Öncelikle, gelecekteki sonucu mükemmel bir şekilde bilmediğimizi, ne kadar da bilemeyeceğimizi unutmayın. Dolayısıyla gelecekteki sonuç olasılık dağılımını izler. Bizim nokta nokta tahminimiz , tek bir sayı kullanarak sırasındaki gelecekteki dağıtım (yani tahmini dağılım ) hakkında bildiklerimizi özetleme . O zaman MAPE, zamanlarında gelecekteki dağılımların böyle tek sayılık özetlerinin bir dizisinin bir kalite ölçüsüdür .$F_t$$t$$t=1, \dots, n$

Buradaki sorun, insanların nadiren açıkça gelecekteki bir dağılımın iyi bir rakam özeti olduğunu söylemesidir .

Tüketicileri tahmin etmek için , genellikle "ortalama" olarak doğru olmasını . Yani, nin medyanı değil, gelecekteki dağılımın beklentisi veya ortalaması olmasını istiyorlar .$F_t$$F_t$

MAPE minimize tipik olacaktır: İşte sorun bu değil çıkışına bu beklentiyi bizi teşvik, ama bambaşka bir tek sayı-özeti ( McKenzie, 2011 , Kolassa 2020 ). Bu iki farklı nedenden dolayı olur.

• Asimetrik gelecek dağılımlar. Gelecekteki dağıtımımızın durağan lognormal dağılım izlediğini varsayalım . Aşağıdaki resimde, simüle edilmiş bir zaman dizisi ve aynı zamanda ilgili yoğunluk gösterilmektedir.$(\mu=1,\sigma^2=1)$

  

  Yatay çizgiler, "iyilik" in çeşitli hata önlemleri için beklenen hatayı minimize etmek olarak tanımlandığı en uygun nokta tahminlerini verir.

  • kesikli çizgi en aza indirir. Zaman serilerinin beklentisidir.$F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • noktalı çizgi beklenen MAE en aza indirir. Zaman serisinin ortancasıdır.$F_t=\exp\mu\approx 2.7$
  • satırındaki çizgi noktalı çizgi beklenen MAPE değerini en aza indirir. Belirli bir lognormal dağılım durumunda dağıtım modu ile çakıştığı zaman serisinin (-1) -medianıdır ( Gneiting, 2011 , s. 752 ) .$F_t=\exp(\mu-\sigma^2)=1.0$$\beta=-1$

  Gelecekteki dağılımın asimetrisinin, MAPE'nin farklı olarak aşırı ve düşük tahminleri cezalandırdığı gerçeğiyle birlikte, MAPE'yi en aza indirmenin ağır önyargılı tahminlere yol açacağı anlamına geldiğini görüyoruz . ( İşte gama durumundaki optimal nokta tahminlerinin hesaplanması. )

• Değişkenlik katsayısı yüksek simetrik dağılım. her zaman noktasında standart altı taraflı bir kalıbı yuvarlamaktan geldiğini varsayalım . Aşağıdaki resimde yine simülasyonlu bir örnek yol gösterilmektedir:$A_t$$t$

  

  Bu durumda:

  • kesikli çizgi beklenen en aza indirir. Zaman serilerinin beklentisidir.$F_t=3.5$

  • Herhangi bir tahmin (grafikte gösterilmemiştir) beklenen MAE değerini en aza indirecektir. Bu aralıktaki tüm değerler zaman serisinin ortalamalarıdır.$3\leq F_t\leq 4$

  • çizgi noktalı çizgi beklenen MAPE'yi en aza indirir.$F_t=2$

  MAPE'nin en aza indirilmesinin, aşırı ve düşük tahminlere uyguladığı farklı ceza nedeniyle, önyargılı bir tahminde nasıl yol açabileceğini tekrar görüyoruz. Bu durumda, sorun asimetrik bir dağılımdan değil, veri üretme sürecimizin yüksek değişkenlik katsayısından kaynaklanmaktadır.

  Bu aslında insanlara MAPE'nin eksikliklerini öğretmek için kullanabileceğiniz basit bir örnek - katılımcılarınıza birkaç zar verin ve oynamalarını sağlayın. Daha fazla bilgi için bkz. Kolassa & Martin (2011) .

İlgili CrossValidated sorular

• MSE ve MAPE arasındaki fark
• MAPE'yi optimize etmenin en iyi yolu
• Simetrik ortalama mutlak yüzde hatasını minimize etmek (SMAPE)
• Regresyon modellerinde MAPE vs R-kare
• Neden bir başkası (örneğin MSE) yerine belirli bir tahmin hatası ölçüsü (örn. MAD) kullanmalı?

R kodu

Lognormal örneği:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Zar haddeleme örneği:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Referanslar

Gneiting, T. Nokta Tahminlerini Yapma ve Değerlendirme . Amerikan İstatistik Kurumu Dergisi , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Simetrik MAPE'nin asimetrisi üzerine . Uluslararası Tahmini Dergisi , 1999, 15, 405-408

Hoover, J. Tahmini Doğruluk Ölçümü: Günümüz Tahmini Motorlarında ve Talep Planlama Yazılımında Eksiklikler . Öngörü: Uluslararası Uygulamalı Tahmini Dergisi , 2006, 4, 32-35

Kolassa, S. Neden "en iyi" nokta tahmininin hataya veya doğruluk ölçütüne bağlı olduğu (M4 tahmin yarışmasına davetli yorumu). Uluslararası Tahmini Dergisi , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Yüzde Hatalar Gününüzü Zedeleyebilir (ve Zarların Yuvarlanmasının Nasıl Olduğunu Gösterir) . Öngörü: Uluslararası Uygulamalı Tahmini Dergisi, 2011, 23, 21-29

Kolassa, S. & Schütz, W. MAPE'ye göre MAD / Ortalama oranının avantajları . Öngörü: Uluslararası Uygulamalı Tahmini Dergisi , 2007, 6, 40-43

McKenzie, J. Ortalama mutlak yüzde hatası ve ekonomik tahminde önyargı . Ekonomi Mektupları , 2011, 113, 259-262