Keras'ın “Yoğun” ile “TimeDistributedDense” arasındaki fark

Hala arasındaki fark hakkında karıştı Denseve TimeDistributedDensebir Keraszaten bazı benzer sorular soruldu bulunmasına rağmen burada ve burada . İnsanlar çok tartışıyorlar ancak ortak olarak kabul edilmiş sonuçlar yok.

Ve yine de, burada , fchollet şunu belirtti:

TimeDistributedDenseDense3B tensörün her zaman adımına aynı (tam olarak bağlı) işlemi uygular.

Tam olarak aralarındaki farkın ne olduğuna dair ayrıntılı bir resme ihtiyacım var.

Diyelim ki Keras'ta bir katmana beslemek istediğiniz satırlı ve sütunlu zaman serisi verileriniz var . Bunu RNN'ye vermeden önce, önceki verileri bir 3D tensöre yeniden şekillendirmeniz gerekir. Böylece .$N$$700$SimpleRNN(200, return_sequence=True)$N \times 700 \times 1$

^{Görüntü https://colah.github.io/posts/2015-08-Understanding-LSTMs adresinden alınmıştır.}

RNN'de sütunlarınız ("700 sütun"), RNN'in zamanlamalarıdır. Verileriniz arasında işlenir . Verileri RNN'ye besledikten sonra, şimdi ila olan ila olan 700 çıkışı vardır . Şimdi verilerinizin şeklinin , numuneler (satırlar) x timesteps (sütunlar) x kanalları olan olduğunu unutmayın .$t=1 \ to \ 700$$h_1$$h_{700}$$h_1$$h_{200}$$N \times 700 \times 200$

Bir uyguladığınızda Ve sonra, TimeDistributedDense, bir uyguluyorsanız Densebir uygulamadan başka deyişle, her timestep üzerinde bir tabaka Denseher biri üzerinde bir tabaka , , ..., sırasıyla. Bu da demek oluyor ki: aslında tam olarak bağlı bir işlemi, her bir kanalına (sırasıyla "200" olan) ye . 1 " 700" kadar " ".$h_1$$h_2$$h_t$$h_1$$h_{700}$$1 \times 1 \times 200$$1 \times 1 \times 200$

Bunu neden yapıyoruz? Çünkü RNN çıkışını düzleştirmek istemiyorsunuz.

RNN çıkışını neden düzleştirmiyorsunuz? Çünkü her bir timestep değerini ayrı tutmak istiyorsun.

Neden her bir timestep değerini ayrı tutuyorsun? Çünkü:

• sadece kendi zaman aralığı arasındaki değerleri etkileşimde bulunmak istiyorsun
• Farklı timestepsler ve kanallar arasında rastgele bir etkileşim yaşamak istemezsiniz.