Hangi durumlarda LSTM'leri biriktirmenin avantajlı olduğunu merak ediyorum?
Yanıtlar:
Kimden Birden fazla LSTM istiflemenin avantajları nelerdir? (Sadece cevabı orada güncelleyeceğim):
1'den}:
Daha derin mimarinin sağladığı ek gücün ne olduğu teorik olarak açık olmasa da, derin RNN'lerin bazı görevlerde sığ olanlardan daha iyi çalıştığı ampirik olarak gözlemlendi. Özellikle, Sutskever ve arkadaşları (2014) 4 katmanlı derin bir mimarinin, bir kodlayıcı-kod çözücü çerçevesinde iyi makine çevirisi performansı elde etmek için çok önemli olduğunu bildirmiştir. Irsoy ve Cardie (2014) ayrıca, tek katmanlı bir BI-RNN'den çeşitli katmanlara sahip bir mimariye geçmenin geliştirilmiş sonuçlarını bildirmiştir. Diğer birçok çalışma, katmanlı RNN mimarileri kullanarak sonuç rapor eder, ancak açıkça 1 katmanlı RNN'lerle karşılaştırmaz.
Referanslar:
- {1} Goldberg, Yoav. "Doğal Dil İşleme için Sinir Ağı Modelleri Üzerine Bir Astar." J. Artif. Intell. Res. (JAIR) 57 (2016): 345-420. https://scholar.google.com/scholar?cluster=3704132192758179278&hl=tr&as_sdt=0,5 ; http://u.cs.biu.ac.il/~yogo/nnlp.pdf
LSTM'leri biriktirmenin avantajlı olduğu bir durum, zaman serisi verilerimizin hiyerarşik temsilini öğrenmek istediğimiz zamandır. Yığılmış LSTM'lerde, her LSTM katmanı, sonraki LSTM katmanına giriş olarak kullanılacak bir vektör dizisi çıkarır. Gizli katmanların bu hiyerarşisi, zaman serisi verilerimizin daha karmaşık bir şekilde gösterilmesini sağlayarak farklı ölçeklerdeki bilgileri yakalar.
Örneğin, istiflenmiş LSTM'ler, kalp hızı, adım sayısı, GPS ve diğer sinyallerin yürüme, koşma, bisiklete binme, merdiven çıkma veya dinlenme. EEG verilerini kullanan yığılmış LSTM'lerle zaman serisi sınıflandırması örneği için aşağıdaki ipython not defterine bir göz atın .
Dizi modeline göre sıra: Kodlayıcı ağının işi, Seq2Seq modelimize giriş dizisini okumak ve dizi için sabit boyutlu bir bağlam vektörü C üretmektir. Bunu yapmak için, kodlayıcı giriş jetonlarını birer birer okumak için tekrarlayan bir sinir ağı hücresi - genellikle bir LSTM - kullanır. Hücrenin son gizli durumu C olur. Bununla birlikte, rastgele uzunluktaki bir diziyi tek bir sabit boyutlu vektöre sıkıştırmak çok zor olduğu için (özellikle çeviri gibi zor görevler için), kodlayıcı genellikle yığılmış LSTM'lerden oluşur : her katmanın çıktılarının bir sonraki katmana giriş sırası olduğu bir dizi LSTM "katmanı". Son katmanın LSTM gizli durumu Bağlam vektörü olarak kullanılacaktır.