“LSTM hücresindeki birim sayısı” nın anlamı nedir?


19

Gönderen Tensorflow kodu: Tensorflow. RnnCell.

num_units: int, The number of units in the LSTM cell.

Bunun ne anlama geldiğini anlayamıyorum. LSTM hücresinin birimleri nelerdir. Giriş, Çıkış ve giriş kapıları? Bu "Derin LSTM için tekrarlayan projeksiyon katmanındaki birim sayısı" anlamına gelir. O zaman buna neden "LSTM hücresindeki birim sayısı" denir? LSTM hücresi nedir ve VS LSTM bloğu farkı nedir, hücre değilse minimum LSTM birimi nedir?



Katman birden fazla paralel LSTM birimi içeriyorsa, x girişini nasıl işler? durum 1: h (1) = f (x) h (t) = f (h (t-1), x) h (t + 1) = f (h (t), x) durum 2: h (1 ) = f (x) h (t) = h (t-1) Belki ResNet gibi başka bir durum daha vardır.
user1908842

Yanıtlar:


10

Bu işlevdeki yararlı yorumların söylediği gibi,

Bu paketteki hücrenin tanımı, literatürde kullanılan tanımdan farklıdır. Literatürde hücre, tek bir skaler çıkışı olan bir nesneyi ifade eder. Bu paketteki tanım, bu tür birimlerin yatay bir dizisini ifade eder.

Özünde, katman yapısal olarak özdeş olan ancak her biri sonunda farklı bir şeyi "hatırlamayı öğrenme" olan çoklu paralel LSTM birimleri içerecektir.


1
Teşekkürler :) Bu yorum 7 gün önce, bu sorudan sonra eklendi. Bazı kazmalardan sonra, Google grubundaki Tensorflow ekibine, LSTM hücresi tanımının neden literatür LSTM hücresinden farklı olduğunu sordum .. ve bu yorumu eklediler :)
Brans Ds

7

Çoğu LSTM / RNN diyagramı sadece gizli hücreleri gösterir ancak asla bu hücrelerin birimlerini göstermez. Bu nedenle, karışıklık. Her gizli katman, zaman adımı kadar gizli hücreye sahiptir. Ve ayrıca, her gizli hücre, aşağıdaki şemada olduğu gibi, birden fazla gizli birimden oluşur. Bu nedenle, RNN'deki gizli katman matrisinin boyutu (zaman adımı sayısı, gizli birim sayısı) 'dır.

resim açıklamasını buraya girin


1

TensorFlow veya Theano'nun üstünde bulunan Keras'ta, aradığınızda num_units model.add(LSTM(num_units))çıktı alanının boyutluluğudur ( buradan , 863 hattı). Benim için bu num_units, aktivasyonları bir sonraki zaman adımına iletilen gizli birimlerin sayısı anlamına gelir .


0

Bir RNN'deki birim sayısı, dizinin her bir girişine dikey olarak birbirine bağlanmış RNN bellek birimlerinin sayısıdır ve her biri filtrelenmiş bilgileri bir sonraki bellek birimlerine geçirmektedir.

Unutmayın, bu kavram, farklı boyutlarda bit büyüklüğüne bellek tahsis akışının bilgisayar bilimi kavramından esinlenmiştir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.