Bir model aramayı ne zaman bırakmalıyım?

Enerji ve hava stokları arasında bir model arıyorum. Avrupa ülkeleri arasında satın alınan MWatt'ın fiyatı ve hava durumu (Grib dosyaları) üzerinde çok fazla değer var. 5 yıllık bir sürede (2011-2015) her saat.

Fiyat / gün

Bu bir yıl boyunca günlüktür. Bunu 5 yılda saat başı var.

Hava örneği

Bir saat için kelvin'de 3Dscatterplot. Saat başına veri başına 1000 değer ve klevin, rüzgar, coğrafi konum vb. Gibi 200 veri var.

Ben Mwatt saat başına ortalama fiyat tahmin etmeye çalışıyorum.

Hava durumu ile ilgili verilerim çok yoğundur, saatte 10000 değerden fazladır ve bu nedenle yüksek bir korelasyonla. Kısa, büyük veri sorunu.

Kement, Ridge ve SVR yöntemlerini MWatt'ın ortalama fiyatı ve hava durumumun verileri gelir olarak denedim. Eğitim verisi olarak% 70 ve test olarak% 30 aldım. Testimin verileri tahmin edilemiyorsa (eğitim verilerimin içinde bir yerde) iyi bir tahminim var (R² = 0.89). Ama verilerim üzerinde tahmin yapmak istiyorum.

Test verileri kronolojik olarak eğitim verilerimin ardındanysa hiçbir şey öngörmez (R² = 0.05). Bence bu normal çünkü bir zaman serisi. Ve çok fazla otokorelasyon var.

ARIMA gibi zaman serisi modeli kullanmak zorunda olduğumu düşündüm. Yöntemin sırasını (seri sabit) hesapladım ve test ettim. Ama işe yaramıyor. Tahminin r² değeri 0,05'tir. Test verileri üzerindeki tahminim test verilerimde hiç değil. ARIMAX yöntemini hava durumu ile regresör olarak denedim. Herhangi bir bilgi eklemeyin.

ACF / PCF, Test / tren verileri

Bu yüzden günde ve haftada mevsimsel bir kesim yaptım

Gün

İlk trendin haftası

Ve hisse senedi fiyatımın eğilim trendini önceden tahmin edebilirsem buna sahip olabilirim:

Mavi benim tahminim ve kırmızı gerçek değerdir.

Gelir olarak havanın haddeleme ortalaması ve stok olarak fiyat eğiliminin eğilimi ile bir gerileme yapacağım. Ama şimdilik hiçbir ilişki bulamadım.

Ancak etkileşim yoksa, hiçbir şey olmadığını nasıl bilebilirim? belki de onu bulamadım.

"Hesaplamalı mekanik" adı verilen resmi bir bilim alanı ile ilgilenebilirsiniz. James Crutchfield ve David Feldman'ın bir makalesinde, (1) deterministik belirsizlik ve deterministik ilişkileri çıkarmanın bilgi maliyeti, (2) stokastik arasındaki sınırların ayrıştırılması olarak, hesaplama mekaniği programını - anladığım kadarıyla - düzenlerler. belirsizlik ve olasılık dağılımlarının çıkarımının bilgi maliyeti ve (3) entropik belirsizlik ve bilgi fakir olmasının sonuçları.

Sorunuzu doğrudan yanıtlamak için (geniş bir soru sorduğunuzdan beri oldukça geniş bir şekilde de olsa), verilerden ne zaman "yeterli" veya "yapabileceğimiz her şeyi" öğrendiğimizi nasıl bildiğimizi açık bir araştırma alanıdır. Birincisi, kişinin dünyada bir araştırmacı ve aktör olarak gereksinimlerine bağlı olacaktır (örneğin, ne kadar zaman, ne kadar işlem gücü, ne kadar bellek, ne kadar aciliyet, vb.).

Bu alanda değil, hatta bu makalenin derinliklerinde değilim, ama bazı harika düşünürler. :)

Crutchfield, JP ve Feldman, DP (2003). Görünmeyen düzenlilikler, rastgelelik gözlendi: Entropi yakınsama düzeyleri . Kaos , 13 (1): 25-54.