Kuruluşumda yapılan tahminlere yardımcı olması için etkileşimli bir tahmin aracı (python'da) oluşturuyorum. Bugüne kadar, tahmin süreci büyük ölçüde insan güdümlüdür, tahminciler doğal sinir ağlarındaki verileri özümser ve öğrenilmiş bağırsaklarını kullanarak tahminlerde bulunurlar. Uzun vadeli tahmin doğrulaması ve öngörülü modelleme çalışmasından beklediğiniz şeyi buldum; farklı tahminciler farklı önyargılar sergiler, bazı öngörücülerin etkileri abartılmış gibi görünür ve diğer önemli olanlar göz ardı edilir ve genel olarak tahmin performansı nispeten basit ampirik modellerle karşılaştırıldığında vasattır.
Tahminler manuel olmaya devam edecek, ancak tahmincilere öngörücülerin göreceli etkilerinin daha iyi bir şekilde ölçülmesini sağlamak için yararlı bir araç oluşturmaya çalışıyorum. Ayrıca sık sık göz ardı edilen mevsimsel etkiler gibi önemli etkiler de var. Daha 'deneyimli' tahmincilerden (birçoğu resmi istatistik bilgisi çok az olan) bazı modelleme süreci hakkında bir miktar boşluk ve şüphecilik bekliyorum, bu nedenle iletişim en azından önemlidir ve modelin kendisi açısından performans tahmin doğruluğunda ölçülebilir bir iyileşme sağlamak.
Geliştirdiğim modeller, zaman zaman etkinlik dışı zamanlarda sıfıra yakın olan bazı öngörücülerde ölçülen değerler olarak ortaya çıkan olaylar tarafından önemli ölçüde değiştirilen güçlü bir oto-regresif bileşene sahiptir. Bu, tahmincilerin kullandığı zihinsel modelle uyumludur. Kilit kısım, tahmini 'tahmin' ölçümlerinden hangisinin tahmini herhangi bir tahmin için oto-regresif değerden uzaklaştırmakta en etkili olduğunu gösterebilmektir. Süreci bu şekilde görüyorum; Tahminci en iyi tahmin değerlerini belirler, model farklı bir değer önerir ve tahminci nedenini sorar. Model şöyle bir şeyi yanıtlıyor: "buraya bakın, bu öngörücünün bu değeri yaz aylarında tahmin değerini arttırır. Kış olsaydı, diğer yöne hareket ederdi. Biliyorum, bu başka ölçümler var,
Şimdi, modelin basit bir doğrusal regresyon olduğunu hayal edin. Değeri birlikte verimli modelle çarparak ve basit bir çubuk grafik olarak görüntüleyerek olaya dayalı öngörücülerin göreceli 'etkisini' göstermeyi düşünebilirsiniz. Farklı öngörücülerdeki tüm çubuklar AR değerinden toplam sapmaya eklenir ve bu, bu durumda güçlü bir etkiye sahip olanları özlü ve net bir şekilde gösterir.
Sorun, tahmin edilen sürecin öngörücülerde yüksek derecede doğrusal olmama durumu göstermesi ya da en azından, kara kutu doğrusal olmayan makine öğrenme algoritmalarında (rastgele orman ve GBM) GLM'lerden çok daha fazla başarı elde etmemdir. bu veri kümesi. İdeal olarak, kullanıcı deneyimi değişmeden 'kaputun altında' çalışan modeli sorunsuz bir şekilde değiştirmek istiyorum, bu yüzden algoritmaya özgü bir yaklaşım kullanmadan farklı ölçümlerin önemini basit bir şekilde göstermenin genel bir yoluna ihtiyacım var. Mevcut yaklaşımım, bir öngörücü hariç tüm değerleri sıfıra ayarlayarak etkileri yarı doğrusallaştırmak, öngörülen sapmayı kaydetmek ve daha sonra sonuçları yukarıda belirtilen çubuk grafikte görüntüleyerek tüm öngörücüler için tekrarlamak olacaktır. Güçlü doğrusal olmama durumunda, bu çok iyi çalışmayabilir.