LSTM birimlerini hücrelere karşı anlama

Bir süredir LSTM'leri inceliyorum. Her şeyin nasıl çalıştığını yüksek düzeyde anlıyorum. Ancak, onları Tensorflow kullanarak uygulayacağım BasicLSTMCell'in bir dizi birim (yani num_units) parametresi gerektirdiğini fark ettim .

Gönderen bu LSTMs arasında çok kapsamlı bir açıklama, tek bir olduğunu topladık LSTM birimi aşağıdakilerden biridir

ki bu aslında bir GRU birimidir.

Bunun parametresinin num_units, BasicLSTMCellbunlardan kaç tanesini birbiriyle bağlamak istediğimize değindiğini varsayıyorum .

Bu soru bırakıyor - bu bağlamda bir "hücre" nedir? Normal bir ileri besleme sinir ağındaki bir tabakaya "hücre" eşdeğer midir?

num_units$h_t$

Ayrıca, https://github.com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/api_docs/python/functions_and_classes/shard9/tf.nn.rnn_cell.RNNCell.md adresinden :

Bu paketteki hücrenin tanımı, literatürde kullanılan tanımdan farklıdır. Literatürde hücre, tek bir skaler çıktısı olan bir nesneyi ifade eder. Bu paketteki tanım, bu tür birimlerin yatay bir dizisini belirtir.

"LSTM katmanı" muhtemelen daha açıktır, örneğin :

def lstm_layer(tparams, state_below, options, prefix='lstm', mask=None):
    nsteps = state_below.shape[0]
    if state_below.ndim == 3:
        n_samples = state_below.shape[1]
    else:
        n_samples = 1

    assert mask is not None
    […]

LSTM / RNN diyagramlarının çoğu sadece gizli hücreleri gösterir, ancak asla bu hücrelerin birimlerini göstermez. Dolayısıyla, karışıklık. Her gizli katman, zaman adımlarının sayısı kadar gizli hücrelere sahiptir. Ve ayrıca, her bir gizli hücre aşağıdaki şemada olduğu gibi birçok gizli birimden oluşur. Bu nedenle, RNN'deki gizli bir katman matrisinin boyutsallığı (zaman adımlarının sayısı, gizli birimlerin sayısı) 'dır.

Her ne kadar mesele bu cevapta cevap verdiğimle hemen hemen aynı olsa da , bugün beni biraz şaşırtan bu sorunu, seq2seq modelinde (@Franck Dernoncourt'ın cevabı sayesinde) grafikte göstermek istiyorum. Bu basit kodlayıcı şemasında:

Her $h_i$yukarıda farklı zaman adımındaki aynı hücre (sorunuza göre GRU veya LSTM ya da hücre) ve hücredeki ağırlık vektörleri (önyargı değil) aynı büyüklüktedir ( num_units / num_hidden veya state_size veya output_size ).

Bence hücre, ayrıca gizli düğüm olarak da adlandırılan gizli hücre gibi bir düğüm anlamına gelir, çok katmanlı LSTM modeli için hücre sayısı, time_steps * num_layers ile hesaplanabilir ve num_units, time_steps değerine eşittir.

Keras'taki birimler, ağın tekrarladığı gecikme süresine (time_step) eşit olan çıktı alanının boyutudur.

keras.layers.LSTM(units, activation='tanh', ....)

https://keras.io/layers/recurrent/