如何在TensorFlow Eager模式下用Keras API为RNN输出添加Dropout？

你之前的两种尝试出错是因为没遵循Keras的层调用逻辑，我来帮你纠正并给出正确实现：

先说说你之前的问题 #

• Attempt 1错误原因：你直接把Dropout层作用在GRU层对象上，而不是GRU层输出的张量。Keras的所有层都需要接收张量输入，必须先让GRU层处理输入得到输出张量，再把这个张量传给Dropout层。
• Attempt 2错误原因：TimeDistributed在这里完全多余，而且你没有构建完整的输入流，导致TensorFlow无法确定张量形状。当GRU设置return_sequences=True时，输出是形状为(batch_size, timesteps, units)的序列张量，Dropout层会自动对每个时间步的输出应用dropout，不需要额外包裹。

正确的实现方法 #

下面两种方式都能实现和你TensorFlow原生代码完全一致的效果（对RNN输出应用50%的dropout）：

方法1：函数式API（更灵活，适合复杂模型）

import tensorflow as tf
import tensorflow.contrib.eager as tfe
tfe.enable_eager_execution()

x = tf.random_uniform((10, 5, 3))

# 定义输入层，shape是(时间步, 特征数)，不需要包含batch维度
inputs = tf.keras.Input(shape=(5, 3))
# 构建GRU层并得到输出
gru_output = tf.keras.layers.GRU(2, return_sequences=True)(inputs)
# 对GRU的输出应用Dropout
dropout_output = tf.keras.layers.Dropout(0.5)(gru_output)

# 构建模型
model = tf.keras.Model(inputs=inputs, outputs=dropout_output)

# 测试输出
result = model(x)
print(result)

方法2：Sequential模型（适合简单线性结构）

import tensorflow as tf
import tensorflow.contrib.eager as tfe
tfe.enable_eager_execution()

x = tf.random_uniform((10, 5, 3))

# 按顺序堆叠层
model = tf.keras.Sequential([
    tf.keras.layers.GRU(2, return_sequences=True, input_shape=(5, 3)),
    tf.keras.layers.Dropout(0.5)
])

# 测试输出
result = model(x)
print(result)

补充说明 #

TensorFlow原生的DropoutWrapper(output_keep_prob=0.5)是保留50%的输出单元，而Keras的Dropout(0.5)是丢弃50%的单元，二者效果完全等价，刚好对应你想要的功能。

内容的提问来源于stack exchange，提问作者mauna