Zaman serisi tahmini için derin öğrenmeyi kullanma

Ben derin öğrenme alanında yeniyim ve benim için ilk adım deeplearning.net sitesinden ilginç makaleler okumak oldu. Derin öğrenme ile ilgili makalelerde, Hinton ve diğerleri çoğunlukla onu görüntü problemlerine uygulamaktan bahseder. Birisi bana cevap vermeye çalışabilir mi, zaman serisi değerlerini (mali, internet trafiği, ...) tahmin etme problemine uygulanabilir mi ve mümkünse odaklanmam gereken önemli şeyler nelerdir?

Sıralı veriler için derin öğrenme yöntemlerini uyarlama konusunda bazı çalışmalar yapılmıştır. Bu çalışmanın çoğu, derin bir sinir ağı oluşturmak için kısıtlı boltzmann makinelerine (RBM'ler) veya otomatik kodlayıcılara benzer şekilde istiflenebilecek "modüller" geliştirmeye odaklanmıştır. Birkaç tanesini vurgulayacağım:

• Koşullu RBM'ler : Muhtemelen zaman serileri için derin öğrenmenin en başarılı uygulamalarından biri. Taylor, görünür birimler arasında geçici etkileşimler ekleyen ve onu hareket yakalama verilerini modellemeye uygulayan RBM benzeri bir model geliştirir. Temelde, gizli birimler tarafından eklenen bazı doğrusal olmayan, doğrusal bir dinamik sistem gibi bir şey ile sonuçlanır.
• Geçici RBM'ler : Tezinde (bölüm 3) Ilya Sutskever, üniteler arasında geçici etkileşime sahip RBM benzeri birkaç model geliştirir. Ayrıca SGD ile tekrarlayan sinir ağlarının eğitimini gösteren Martens'in Hessian içermeyen algoritması gibi iyi bir başlangıç ​​ve momentum için hafifçe değiştirilmiş bir denklem kullanarak daha karmaşık yöntemlerden daha iyi veya daha iyi performans gösterebileceğini gösteren bazı ilginç sonuçlar sunar.
• Özyinelemeli Otomatik Kodlayıcılar : Sonunda Richard Socher'in ayrıştırma için özyinelemeli otomatik kodlayıcı kullanma konusundaki çalışmasından bahsedeceğim. Bu zaman serileri olmasa da kesinlikle ilgili.

Evet, zaman serisi tahminleri için derin öğrenme uygulanabilir. Aslında, birçok kez yapıldı, örneğin:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

Bu gerçekten herhangi bir "özel durum" değildir, derin öğrenme çoğunlukla ön işleme yöntemiyle ilgilidir (üretken modele dayanarak), bu nedenle "geleneksel anlamda" tek bir konuda derinlemesine öğrenirken odaklandığınız şeylere tamamen odaklanmanız gerekir. El ve derin öğrenme olmadan zaman serisi tahminleri yaparken odaklandığınız şeyler.

Tekrarlayan Sinir Ağları bir tür Derin Öğrenme (DL) olarak kabul edilir. Bunların (1d) diziden diziye öğrenme için en popüler DL aracı olduklarını düşünüyorum. Bunlar şu anda Nöral Makine Çevirisi (NMT) yaklaşımlarının temelidir (2014'te LISA (UdeM), Google ve muhtemelen hatırlamadığım birkaç kişi için öncüdür).

Alex Graves'in Tekrarlayan Sinir Ağları ile dizileri oluşturma , tekrarlayan ağlar ve uzun kestirimli bellek hücrelerini kullanarak metni tahmin eder ve el yazısı sentezi yapar.

Andrej Karpathy sıfırdan karakter seviyesi dizileri oluşturma hakkında bir blog yazdı . Eğitiminde RNN kullanıyor.

Daha fazla örnek için Hochreiter, S., & Schmidhuber, J. (1997) 'ye bakmalısınız. Uzun süreli hafıza. Sinirsel hesaplama, 9 (8), 1735-1780.

Belki bu yardımcı olur:

• I. Sutskever, O. Vinyals ve QV V Le, “Sinir Ağları ile Öğrenmenin Sıralanması”, Sinir Bilgi İşlem Sistemlerinde Gelişmeler, 2014, s. 3104-3112.

Bu yazıda veya paragraflarda verilen cümleler gibi veriler üzerinde tam olarak zaman pencereniz için tanımınız varsa, o zaman LSTM'yi kullanmakta iyi olacaksınız, ancak açık olmayan ve daha fazla bağlamdan haberdar olan zaman penceresini nasıl bulacağınızdan emin değilim. Bunun bir örneği, gördüğünüz günlük verilerinin kaçının ilişkili olduğudur ve bu açık bir şey değil.