MEAN'ın ARIMA'dan daha iyi performans göstermesi olağandışı mı?

Geçenlerde bir dizi tahmin yöntemi uyguladım (MEAN, RWF, ETS, ARIMA ve MLP'ler) ve MEAN'ın şaşırtıcı derecede iyi olduğunu gördüm. (MEAN: Gelecekteki tüm tahminlerin gözlenen değerlerin aritmetik ortalamasına eşit olarak tahmin edildiği durumlarda.) MEAN, kullandığım üç seri üzerinde ARIMA'dan bile daha iyi performans gösterdi.

Bilmeyi istediğim, eğer bu olağandışıysa? Bu, kullandığım zaman serisinin garip olduğu anlamına mı geliyor? Yoksa bu bir şeyi yanlış yaptığımı mı gösteriyor?

Ben hem uygulayıcı hem de tahmin yapan bir uygulayıcıyım ve eğitimli bir istatistikçi değilim. Aşağıda, ortalama tahmininizin neden ARIMA'dan daha iyi çıktığı konusundaki düşüncelerimin bazılarını, deneysel kanıtlara dayanan bir araştırma makalesine başvurarak paylaşıyorum. Tekrar tekrar atıfta bulunduğum bir kitap, Armstrong'un tahmin kitabının ilkeleri ve herhangi bir tahminci için mükemmel bir okuma olarak önereceğim web sitesi , ekstrapolasyon yöntemlerinin kullanımı ve yol gösterici ilkeleri hakkında geniş bir fikir vermektedir.

Size ilk soruyu cevaplamak için - Bilmek istediğim şey, eğer bu olağandışıysa?

Aynı web sitesinde ücretsiz olarak sunulan Zaman Serileri ve Kesitsel Veriler için Ekstrapolasyon adlı bir bölüm var . Aşağıdaki bölümden alıntı

“Örneğin, 29 aylık seriyi inceleyen gerçek zamanlı M2 yarışmasında, Box-Jenkins en az doğru yöntemlerden biri olduğunu kanıtladı ve genel medyan hatası saf tahmin için olduğundan% 17 daha fazla”

Ortalama tahminlerinizin neden ARIMA modellerinden daha iyi olduğuna dair ampirik bir kanıt var.

Ayrıca deneysel yarışmalarda çalışmadan sonra çalışma yapıldı ve Box - Jenkins ARIMA yaklaşımını gösteren üçüncü M3 yarışması doğru tahmin üretemedi ve tek değişkenli eğilim ekstrapolasyonu için daha iyi performans gösterdiğine dair kanıtlardan yoksun.

Aynı web sitesinde aynı zamanda Greene ve Armstrong'un " Basit Tahmini: Yatmadan Önce Gözyaşı Önlemekten Kaçının " başlıklı başka bir makalesi daha var . Makalenin yazarları şöyle özetlemektedir:

Toplamda, karmaşık yöntemlerden gelen tahminlerin doğruluğunun basit - ancak tüm durumlarda değil - basit olan yöntemlerle - karşılaştırmalı olarak 94 karşılaştırmasını içeren 29 makale tanımladık. Karşılaştırmaların yüzde seksen üçü basit yöntemlerden gelen tahminlerin karmaşık yöntemlerden daha doğru veya benzer şekilde doğru olduğunu buldu. Ortalama olarak, karmaşık yöntemlerden kaynaklanan tahminlerin hataları, hataların karşılaştırılmasını sağlayan 21 çalışmada basit yöntemlerden kaynaklanan tahminlerin hatalarından yaklaşık yüzde 32 daha büyüktü.

Üçüncü sorunuzu cevaplamak için : bu yanlış bir şey kurduğumu gösteriyor mu? Hayır, ARIMA'yı karmaşık yöntem olarak ve Ortalama kestirimi basit yöntemler olarak düşünürdüm. Ortalama tahmin gibi basit yöntemlerin ARIMA gibi karmaşık yöntemlerden daha iyi performans gösterdiğine dair yeterli kanıt vardır.

İkinci sorunuza cevap vermek için : Bu kullandığım zaman serisinin garip olduğu anlamına mı geliyor?

Aşağıda, gerçek dünya tahmininde uzman olduğunu düşündüğüm şeyler:

• Makridakis (Öngörülen M, M2 ve M3 Tahmini Konusunda Öngörülen Ampirik rekabet ve tahminde kanıta dayalı yöntemler için zemin hazır)
• Armstrong (Öngörü Uygulaması ile ilgili kitap / makale şeklinde değerli bilgiler sunar)
• Gardner (Invented Damped Trend üstel, ARIMA'ya karşı şaşırtıcı derecede iyi çalışan başka bir basit yöntemi yumuşatıyor)

Yukarıdaki araştırmacıların tümü, ARIMA gibi karmaşık yöntemlerle basitliği (ortalama tahmininiz gibi yöntemler) savunurlar. Bu nedenle tahminlerinizin iyi olduğunu ve her zaman deneysel kanıtlara dayanan karmaşıklık üzerindeki sadeliği tercih ettiğini rahat hissetmelisiniz. Bu araştırmacıların hepsi uygulamalı tahmin alanına büyük ölçüde katkıda bulunmuştur.

Stephan'ın basit tahmin yönteminin iyi listesine ek olarak. Ayrıca çok basit bir yöntem olan Theta öngörme yöntemi adı verilen başka bir yöntem daha var (temelde doğrusal regresyon eğiminin 1 / 2'sine eşit bir kayma ile basit üssel düzeltme) bunu alet kutunuza ekleyeceğim. Forecast package in Rbu yöntemi uygular.

Bu hiç şaşırtıcı değil . Tahmin olarak, çok sık olduğu gibi, bu son derece basit yöntemler bulmak

• genel ortalama
• saf rastgele yürüyüş (yani, tahmin olarak kullanılan son gözlem)
• mevsimsel rastgele bir yürüyüş (yani bir yıl öncesinden gözlem)
• Tek Üstel Yumuşatma

daha karmaşık yöntemlerden daha iyi performans gösterir. Bu yüzden metotlarınızı daima bu çok basit kıyaslamalara karşı test etmelisiniz.

George Athanosopoulos ve Rob Hyndman'dan (alanında uzman olan) bir alıntı :

Bazı tahmin yöntemleri çok basit ve şaşırtıcı derecede etkilidir.

Açıkça, bazı çok basit yöntemleri kıyaslamada kullanacaklarını söylediklerini unutmayın.

Aslında, onların tahmini ücretsiz açık çevrimiçi ders kitabı çok tavsiye edilir.

EDIT: Daha iyi kabul edilmiş tahmin hata ölçülerinden biri olan Hyndman & Koehler'in ( Mutlak Ölçeklendirilmiş Hata) (Mutlak Ölçeklendirilmiş Hata) ( burada da bakınız ), verilen bir tahminin (örnekteki) saf rastgele yürüme tahmininde ne kadar iyileştirildiğini ölçer: eğer MASE <1, tahmininiz örnek içi rastgele yürüyüşlerden daha iyi. Bunun kolayca dövülmüş bir bağ olmasını beklersiniz, değil mi?

Öyle değil: bazen, ARIMA veya ETS gibi birden fazla standart tahmin yönteminden en iyisi bile, yalnızca 1.38'lik bir MASE verir, yani, (örnek içi) rastgele yürüme tahmininden daha kötü (örnek dışı) olur. Burada soru sormak için bu yeterince endişe verici. (MASE, örnek dışı doğruluğu naif bir yöntemin örnek içi doğruluğu ile karşılaştırdığından, bu soru bunun bir kopyası değildir, fakat aynı zamanda mevcut soru için aydınlatıcıdır.)