Kaç LSTM hücresi kullanmalıyım?

Kullanmam gereken minimum, maksimum ve "makul" miktarda LSTM hücresi ile ilgili herhangi bir temel kural (veya gerçek kurallar) var mı? Özellikle ben ilişkin am BasicLSTMCell TensorFlow ve gelen num_unitsmülk.

Lütfen şu şekilde tanımlanan bir sınıflandırma sorunum olduğunu varsayalım:

t - number of time steps
n - length of input vector in each time step
m - length of output vector (number of classes)
i - number of training examples

Örneğin, eğitim örneği sayısının aşağıdakilerden daha büyük olması gerektiği doğru mu?

4*((n+1)*m + m*m)*c

chücre sayısı nerede ? Ben buna dayanarak: Nasıl bir LSTM ağ parametre sayısını hesaplamak için? Anladığım kadarıyla, bu, toplam eğitim örneği sayısından az olması gereken toplam parametre sayısını vermelidir.

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

— Topluluk
kaynak

Hiperparametre ayarının yanı sıra sıralı derin öğrenme modellerini karşılaştırma konusuna güzel bir şekilde hitap eden bu makaleye göz atarım : arxiv.org/pdf/1503.04069.pdf Özet olarak, gizli olan LSTM bloklarının sayısını artırmanın katman performansı artırır, ancak geri dönüşleri azaltır ve eğitim süresini artırır.

— CubeBot88

Minimum eğitim örneği sayısı, orada sahip olduğunuz şeydir:

4 (n m + n^{2})

$4(nm + n^2)$

Daha fazla bilgi için bu makaleye bakın: Görsel yardıma ihtiyacınız olursa bu bağlantıya bakın: LSTM modelindeki parametre sayısı

Yığının her katmanındaki birim sayısı değişebilir. Örneğin Tensorflow'dan translate.py dosyasında 1024, 512 veya neredeyse herhangi bir sayıya yapılandırılabilir. En iyi aralık çapraz doğrulama ile bulunabilir. Ancak yığının her katmanında 1000 ve 500 adet birim gördüm. Şahsen ben de küçük sayılarla test yaptım.

— Ali
kaynak