Neden bir diğerinin (örneğin MSE) aksine belirli bir tahmin hatası ölçüsü (örneğin MAD) kullanıyorsunuz?

MAD = Ortalama Mutlak Sapma MSE = Ortalama Kare Hata

Ben MSE bazı istenmeyen nitelikleri rağmen kullanıldığını çeşitli yerlerden önerileri gördüğüm (örn http://www.stat.nus.edu.sg/~staxyc/T12.pdf , p8 üzerinde devletler hangi "O mad genel olarak inanılmaktadır MSE'den daha iyi bir ölçüttür. Bununla birlikte, matematiksel olarak MSE MAD'den daha uygundur. ")

Bundan daha fazlası var mı? Tahmin hatasını ölçmenin çeşitli yöntemlerinin daha az / az uygun olduğu durumları ayrıntılı olarak analiz eden bir makale var mı? Google aramalarım hiçbir şey göstermedi.

Buna benzer bir soru /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde adresinde soruldu ve kullanıcıdan 15.01.2018

Hangi nokta tahmini hata ölçüsünün kullanılacağına karar vermek için geri adım atmamız gerekiyor. Gelecekteki sonucu mükemmel bir şekilde bilmediğimizi ve hiçbir zaman bilmeyeceğimizi unutmayın. Gelecekteki sonuç bir olasılık dağılımını izliyor . Bazı tahmin yöntemleri bu tür bir tam dağıtımın çıktısını açıkça verirken, bazıları vermez - ama sadece örtük olarak her zaman oradadır.

Şimdi, bir nokta tahmini için iyi bir hata ölçüsü almak istiyoruz . Tahmin Böyle bir nokta $F_t$ biz zaman gelecekteki dağılımı (yani öngörü dağılımı) hakkında bildiklerimizi özetlemek bizim girişimi $t$ tek bir sayı, bir sözde kullanarak işlevsel gelecek yoğunluğunun. Hata ölçüsü, bu tek sayı özetinin kalitesini değerlendirmenin bir yoludur.

Bu nedenle, gelecekteki yoğunlukların (bilinmeyen, muhtemelen tahmin edilen, ancak muhtemelen üstü kapalı) bir sayı özetini "iyi" olarak ödüllendiren bir hata ölçüsü seçmelisiniz.

Buradaki zorluk, farklı hata ölçümlerinin farklı işlevler tarafından en aza indirilmesidir. Beklenen MSE, gelecekteki dağılımın beklenen değeri ile en aza indirilir . Beklenen MAD, gelecekteki dağılımın medyanı tarafından en aza indirilmiştir . Bu nedenle, MAE'yi en aza indirmek için tahminlerinizi kalibre ederseniz, nokta tahmininiz gelecekteki beklenen değer değil, gelecekteki medyan olacaktır ve gelecekteki dağılımınız simetrik değilse tahminleriniz taraflı olacaktır.

Bu, genellikle eğri olan sayım verileri için en uygunudur. Aşırı durumlarda (örneğin, Poisson, satışları $\log 2\approx 0.69$ altında bir ortalamaya dağıttı ), MAE'niz sabit sıfır tahmini için en düşük olacaktır. Ayrıntılar için buraya veya buraya veya buraya bakın.

Biraz daha bilgi ve bir resme vermek Ortalama Mutlak Yüzde Hata (MAPE) eksiklikleri nelerdir? Bu iş parçacığı mape'yi ve diğer hata ölçülerini de dikkate alır ve diğer ilgili iş parçacıklarına bağlantılar içerir.

Sonunda, hangi hata ölçüsünün kullanılacağı gerçekten Tahmin Maliyetinize, yani hangi hatanın en acı verici olduğuna bağlıdır. Tahmin hatalarının gerçek sonuçlarına bakmadan, "daha iyi kriterler" hakkında herhangi bir tartışma temel olarak anlamsızdır.

Tahmin doğruluğu ölçütleri, birkaç yıl önce tahmin topluluğunda büyük bir konuydu ve ara sıra hala ortaya çıkıyorlar. Bakmak için çok iyi bir makale Hyndman & Koehler "Tahmin doğruluğu ölçümlerine bir başka bakış" (2006).

Son olarak, bir alternatif tam tahmin yoğunluklarını hesaplamak ve bunları uygun puanlama kurallarını kullanarak değerlendirmektir .

MSE yerine MAE kullanmanın avantajları Davydenko ve Fildes (2016) ' da açıklanmıştır , bakınız Bölüm 3.1:

... Bazı yazarlar (örneğin, Zellner, 1986) tahminleri değerlendirdiğimiz ölçütün tahminleri optimize ettiğimiz ölçütle aynı olması gerektiğini savunuyorlar. Başka bir deyişle, tahminleri belirli bir kayıp fonksiyonunu kullanarak optimize edersek, hangi modelin daha iyi olduğunu bulmak için ampirik değerlendirme için aynı kayıp fonksiyonunu kullanmalıyız.

İstatistiksel bir modelin yerleştirilmesi genellikle ikinci dereceden kayıp altında optimal tahminler verir. Bu, örneğin, doğrusal bir regresyona uyduğumuzda olur. İstatistiksel modellemeden yoğunluk tahminimiz simetrik ise, ikinci dereceden kayıp altında optimal tahminler doğrusal kayıp altında da optimal olur. Ancak, varyansı log dönüşümleri ile stabilize edersek ve tahminleri üs ile geri dönüştürürsek, tahminleri optimum olarak sadece doğrusal kayıp altında alırız. Başka bir kayıp kullanırsak, öncelikle istatistiksel bir model kullanarak yoğunluk tahminini elde etmeli ve daha sonra spesifik kayıp fonksiyonumuza göre tahminlerimizi ayarlamalıyız (bunu Goodwin, 2000'de yapma örneklerine bakınız).

Diyelim ki iki yöntemi ampirik olarak karşılaştırmak ve simetrik doğrusal kayıp açısından hangi yöntemin daha iyi olduğunu bulmak istiyoruz (çünkü bu tür kayıplar modellemede yaygın olarak kullanılmaktadır). Sadece bir zaman serimiz varsa, ortalama bir mutlak hata (MAE) kullanmak doğal görünmektedir. Ayrıca, MAE anlaşılması ve hesaplanması basit olduğu için caziptir (Hyndman, 2006) ...

Referanslar

Davydenko, A. ve Fildes, R. (2016). Tahmin Hata Önlemleri: Eleştirel İnceleme ve Pratik Öneriler. In Business Öngörü: Pratik Sorunlar ve Çözümler. John Wiley ve Oğulları

$RMSE = \sqrt{MSE}$$MAE = MAD$

Aslında,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• üst sınır: tek bir vaka hatası $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

$MAE \leq RMSE \leq \sqrt{MAE}$$y_i$$\hat y_i$$\in [0, 1]$

• $e_i$$\leq 1$
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  (Bu üst sınır tamsayısı için oluşur$n_{wrong}$, kısmi / kesirli sınıf üyeliği ve dolayısıyla $e_i \in [0, 1]$, işler biraz daha karmaşıklaşır, çünkü olası maksimum hatanın 1'den az olabileceğini ve "artık" olabileceğinizi dikkate almanız gerekir. $e_i < 1$ her ikisi de üst sınırı biraz daha aşağı indirir.)

RMSE MAE'ye yakınsa, birçok küçük sapmaya sahipsiniz, eğer üst sınırına yakınsa, çok az yanlış tahmin vardır.