Zaman serisi analizi için tekrarlayan sinir ağlarını kullanmanın doğru yolu

Tekrarlayan sinir ağları "normal" olanlardan bir "hafıza" katmanına sahip olmalarından farklıdır. Bu katman nedeniyle, tekrarlayan NN'lerin zaman serisi modellemesinde yararlı olacağı varsayılmaktadır. Ancak, onları nasıl kullanacağımı doğru anladığımdan emin değilim.

Diyelim ki (soldan sağa) şu zaman serisine [0, 1, 2, 3, 4, 5, 6, 7]sahibim: hedefim, inoktaları kullanarak i-1ve i-2her biri için bir girdi olarak nokta işaretini tahmin etmektir i>2. "Düzenli" olarak, tekrar eden olmayan bir YSA'da verileri şu şekilde işlerdim:

 target| input
      2| 1 0
      3| 2 1
      4| 3 2
      5| 4 3
      6| 5 4
      7| 6 5 

Daha sonra iki girişli ve bir çıkış düğümlü bir net yaratacağım ve yukarıdaki verilerle çalıştıracağım.

Tekrarlayan ağlar söz konusu olduğunda, bu süreci (eğer varsa) nasıl değiştirmek gerekir?

Tanımladığınız aslında bir "kayan zaman penceresi" yaklaşımı ve tekrarlayan ağlardan farklı. Bu tekniği herhangi bir regresyon algoritması ile kullanabilirsiniz. Bu yaklaşım için çok büyük bir sınırlama vardır: girişlerdeki olaylar sadece, t penceresinin büyüklüğü olduğu zaman, en çok zaman aşımına uğrayan diğer giriş / çıkışlarla bağıntılı olabilir.

Örneğin, bir t Markov zinciri zinciri düşünebilirsiniz. RNN'ler teoride bundan muzdarip değildir, ancak pratikte öğrenme zordur.

$y = Wx$$y$$W$$x$

$x^{i}$$y^{i} = Wx^i + W_ry^{i-1}$

$W_r$

$h^i$

$\sigma$$W_1$$W_2$$W_r$

İşte yapının bir şeması:

Ayrıca, girdi verileri için birkaç zaman serisi dönüşümü kullanmayı da düşünebilirsiniz. Sadece bir örnek için, girişler şöyle olabilir:

1. en son aralık değeri (7)
2. sonraki en son aralık değeri (6)
3. en son ve sonraki en son arasındaki delta (7-6 = 1)
4. üçüncü en son aralık değeri (5)
5. en son ikinci ve üçüncü arasındaki delta (6-5 = 1)
6. son üç aralığın ortalaması ((7 + 6 + 5) / 3 = 6)

Bu yüzden, eğer geleneksel bir sinir ağına girdiğiniz girdiler, bu altı dönüştürülmüş veri parçası olsaydı, sıradan bir geri yayılım algoritmasının deseni öğrenmesi zor bir iş olmazdı. Bununla birlikte, ham verileri alan dönüşümleri kodlamanız ve sinir ağınıza yukarıdaki 6 girişe dönüştürmeniz gerekir.

Diğer bir olasılık, Tarihsel Tutarlı Sinir Ağlarıdır (HCNN) . Bu mimari yukarıda belirtilen kurulum için daha uygun olabilir, çünkü girdi ve çıktı değişkenleri arasındaki çoğu zaman rastgele ayrımı ortadan kaldırırlar ve bunun yerine tüm sistemin tüm dinamiklerini tüm gözlemlenebilirlerle eğiterek kopyalamaya çalışırlar.

Siemens için çalışırken, Springer Verlag: Zimmermann, Grothmann, Tietz, von Jouanne-Diedrich: Tarihsel Tutarlı Yapay Sinir Ağları ile Piyasa Modellemesi, Tahmini ve Risk Analizi adlı kitabında bu mimarlık üzerine bir makale yayınladım.

Sadece burada paradigma hakkında bir fikir vermek için kısa bir alıntı:

Bu yazıda, tarihsel olarak tutarlı sinir ağı (HCNN) olarak adlandırılan yeni bir tür NN sunuyoruz. HCNN'ler, çok etkileşimli doğrusal olmayan dinamik sistemlerin çoklu zaman ölçeklerinde modellenmesine izin verir. HCNN'ler girişler ve çıkışlar arasında herhangi bir ayrım yapmazlar, ancak büyük durumlu bir alanın dinamiğine gömülü gözlemlenebilir modellerdir.

[...]

RNN, doğrusal olmayan bir regresyon yaklaşımı kullanarak açık bir dinamik sistemi modellemek ve tahmin etmek için kullanılır. Ancak birçok gerçek dünyadaki teknik ve ekonomik uygulamalar, zaman zaman çeşitli (doğrusal olmayan) dinamiklerin birbirleriyle etkileşime girdiği büyük sistemler bağlamında görülmelidir. Bir modelde öngörülen, bunun anlamı girdiler ve çıktılar arasında ayrım yapmadığımız, ancak gözlemlenebilirler hakkında konuştuğumuz anlamına gelir. Büyük sistemlerin kısmi gözlenebilirliği nedeniyle, gözlenebilirlerin dinamiklerini açıklayabilmek için gizli durumlara ihtiyacımız var. Gözlemlenebilir ve gizli değişkenler, model tarafından aynı şekilde ele alınmalıdır. Gözlemlenebilir terimi, girdi ve çıktı değişkenlerini kapsar (yani,$Y_τ := (y_τ, u_τ)$). Tüm gözlemlenebilir niteliklerin dinamiğinin tanımlanabileceği bir model uygulayabilirsek, açık sistemi kapatabilecek bir konumda olacağız.

... ve sonuç olarak:

Gizli ve gözlenen değişkenlerin büyük tekrarlayan sinir ağlarındaki ortak modellemesi planlama ve risk yönetimi için yeni umutlar sağlar. HCNN'ye dayanan topluluk yaklaşımı, gelecekteki olasılık dağılımlarının tahmininde alternatif bir yaklaşım sunar. HCNN'ler geçmişte gözlenebilirlerin dinamiğinin mükemmel bir tanımını verir. Bununla birlikte, dünyanın kısmi gözlemlenebilirliği, gizli değişkenlerin benzersiz bir yeniden inşasına ve dolayısıyla farklı gelecek senaryolarına yol açmaktadır. Dinamiğin orijinal gelişimi bilinmediğinden ve tüm yollar aynı olasılığa sahip olduğundan, grubun ortalaması en iyi tahmin olarak kabul edilebilir, bununla birlikte dağılımın bant genişliği piyasa riskini tanımlar. Bugün, tedarik kararlarının zamanlamasını optimize etmek için enerji ve değerli metallerin fiyatlarını tahmin etmek için HCNN tahminlerini kullanıyoruz. Halen devam etmekte olan çalışmalar, topluluk özelliklerinin analizi ve bu kavramların pratik risk yönetimi ve finansal piyasa uygulamalarında uygulanması ile ilgilidir.

Kağıdın bölümleri genel olarak görülebilir: Burada