Python Keras实现LSTM详解：结构解析与参数量计算

Felix

发布时间：2026-10-16 | 4人浏览过

原创

本文深入解析LSTM网络结构，详细讲解遗忘门、输入门和输出门的工作原理。重点阐述如何在Keras中通过units和input_shape参数配置LSTM，并逐步推导各门控机制的参数量计算公式。结合MNIST数据集示例代码，展示LSTM在序列数据处理中的实际应用与效果。

什么是LSTM

1、LSTM的结构

在时间步n处，LSTM接收三个输入信号：

当前时刻的网络输入Xt；
上一时刻LSTM的输出ht-1；
上一时刻的单元状态Ct-1。

LSTM同时产生两个输出结果：

当前时刻的LSTM输出值ht；
当前时刻更新后的单元状态Ct。

2、LSTM独特的门结构

LSTM通过两个门控机制来管理单元状态cn的内容：

遗忘门（forget gate），用于决定上一时刻单元状态cn-1中有多少信息需要保留到当前时刻；
输入门（input gate），用于决定当前时刻网络输入c’n中有多少信息需要保存到新的单元状态cn中。

此外，LSTM还使用一个门来控制当前输出值hn的内容：

输出门（output gate），它利用当前时刻的单元状态cn来调控hn的输出。

3、LSTM参数量计算

a、遗忘门

遗忘门的计算需结合ht-1和Xt，以判定上一时刻单元状态cn-1中保留到当前时刻的信息量；

根据图示，该环节涉及参数ft的计算。

b、输入门

输入门的计算需结合ht-1和Xt，以判定当前时刻网络输入c’n中保存到单元状态cn的信息量。

根据图示，该环节涉及两个参数的计算，分别是it。

和C’t

其中需要训练的参数分别为Wi、bi、WC和bC。

在定义LSTM时，我们会使用一个名为units的参数，它代表神经元的数量，即LSTM输出ht的维度。

因此：

c、输出门

输出门利用当前时刻的单元状态cn来对hn的输出进行控制；

根据图示，该环节涉及参数ot的计算。

其中需要训练的参数分别为Wo和bo。在定义LSTM时，我们会使用一个名为units的参数，它代表神经元的数量，即LSTM输出ht的维度。因此：

d、全部参数量

因此，所有门控机制的总参数量为：

在Keras中实现LSTM

LSTM层通常接受两个主要参数。

一个是unit，另一个是input_shape。

LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))

unit用于指定神经元的数量。

input_shape用于指定输入数据的形状，分别指定TIME_STEPS和INPUT_SIZE。

实现代码

import numpy as np
from keras.models import Sequential
from keras.layers import Input,Activation,Dense
from keras.models import Model
from keras.datasets import mnist
from keras.layers.recurrent import LSTM
from keras.utils import np_utils
from keras.optimizers import Adam
TIME_STEPS = 28
INPUT_SIZE = 28
BATCH_SIZE = 50
index_start = 0
OUTPUT_SIZE = 10
CELL_SIZE = 75
LR = 1e-3
(X_train,Y_train),(X_test,Y_test) = mnist.load_data()
X_train = X_train.reshape(-1,28,28)/255
X_test = X_test.reshape(-1,28,28)/255
Y_train = np_utils.to_categorical(Y_train,num_classes= 10)
Y_test = np_utils.to_categorical(Y_test,num_classes= 10)
inputs = Input(shape=[TIME_STEPS,INPUT_SIZE])
x = LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))(inputs)
x = Dense(OUTPUT_SIZE)(x)
x = Activation("softmax")(x)
model = Model(inputs,x)
adam = Adam(LR)
model.summary()
model.compile(loss = 'categorical_crossentropy',optimizer = adam,metrics = ['accuracy'])
for i in range(50000):
    X_batch = X_train[index_start:index_start + BATCH_SIZE,:,:]
    Y_batch = Y_train[index_start:index_start + BATCH_SIZE,:]
    index_start += BATCH_SIZE
    cost = model.train_on_batch(X_batch,Y_batch)
    if index_start >= X_train.shape[0]:
        index_start = 0
    if i%100 == 0:
        cost,accuracy = model.evaluate(X_test,Y_test,batch_size=50)
        print("accuracy:",accuracy)

实现效果：

10000/10000 [==============================] - 3s 340us/step
accuracy: 0.14040000014007092
10000/10000 [==============================] - 3s 310us/step
accuracy: 0.6507000041007995
10000/10000 [==============================] - 3s 320us/step
accuracy: 0.7740999992191792
10000/10000 [==============================] - 3s 305us/step
accuracy: 0.8516999959945679
10000/10000 [==============================] - 3s 322us/step
accuracy: 0.8669999945163727
10000/10000 [==============================] - 3s 324us/step
accuracy: 0.889699995815754
10000/10000 [==============================] - 3s 307us/step

以上就是python神经网络Keras实现LSTM及其参数量详解的详细内容，更多关于Keras实现LSTM参数量的资料请关注本站其它相关文章！