TensorFlow中堆叠RNN输出接入全连接层的实现疑问（回归任务）

嘿，我来帮你理清这个问题！你已经搭好了堆叠LSTM的细胞结构，接下来核心是处理RNN的输出——毕竟全连接层需要的是[batch_size, feature_dim]的二维张量，而RNN的输出是三维的[batch_size, max_sequence_length, num_rnn_units]。下面分两种常见场景给你具体方案：

场景1：仅用序列最后一个时间步的信息做预测 #

如果你的回归任务是基于整个序列预测最后一个时刻的结果，或者只需要序列末尾的特征，直接提取输出序列的最后一个时间步即可：

# 补全你的堆叠RNN构建代码
cells = []
for i in range(num_rnn_layers):
    cell = tf.contrib.rnn.LSTMCell(num_rnn_units)
    cells.append(cell)
multi_rnn_cell = tf.contrib.rnn.MultiRNNCell(cells)

# 运行动态RNN，得到输出序列和各层的最终状态
outputs, final_state = tf.nn.dynamic_rnn(
    cell=multi_rnn_cell,
    inputs=your_input_tensor,  # 输入形状：[batch_size, max_sequence_length, num_features]
    dtype=tf.float32
)

# 提取最后一个时间步的输出，形状变为：[batch_size, num_rnn_units]
last_step_output = outputs[:, -1, :]

# 接入全连接层完成回归预测（回归任务通常输出1个数值）
prediction = tf.layers.dense(inputs=last_step_output, units=1)

另外，LSTM的final_state包含每个层的细胞状态（c_state）和隐藏状态（h_state），最后一层的隐藏状态其实和outputs[:, -1, :]完全等价，你也可以这样获取：

# 取最后一层LSTM的隐藏状态
last_hidden_state = final_state[-1].h
prediction = tf.layers.dense(inputs=last_hidden_state, units=1)

场景2：利用整个序列的所有时间步信息做预测 #

如果需要结合序列全程的特征来预测（比如基于一段时序数据的整体趋势做回归），可以对所有时间步的输出做池化处理，压缩时间步维度：

# 全局平均池化：对每个样本的所有时间步输出取平均，形状变为[batch_size, num_rnn_units]
avg_pooled_output = tf.reduce_mean(outputs, axis=1)

# 或者全局最大池化：提取每个特征维度上的最大值
max_pooled_output = tf.reduce_max(outputs, axis=1)

# 接入全连接层
prediction = tf.layers.dense(inputs=avg_pooled_output, units=1)

关键说明 #

RNN的outputs张量形状是[batch_size, max_sequence_length, num_rnn_units]，我们的核心操作就是压缩掉第二个维度（时间步维度），得到二维张量，这样就能和全连接层的输入要求匹配啦。

内容的提问来源于stack exchange，提问作者Nico Lindmeyer