基于CNN+LSTM的图像文本序列预测模型训练BroadcastTo报错求助

错误根源 #

错误核心在于Embedding层的mask广播冲突：开启mask_zero=True后，Embedding层生成的布尔mask（形状(32,100)）在层间传播时被扩展为(32,100,1)，当与CNN编码器输出（形状(32,100,256)）拼接时，Keras自动尝试将mask广播到编码器输出的维度，但布尔张量的广播转换过程触发了类型错误。

解决方法 #

1. 临时禁用mask_zero（快速验证） #

先关闭mask_zero确认问题来源：

decoder_embedding = Embedding(vocab_size, EMBEDDING_DIM, mask_zero=False)(decoder_input)

若训练恢复正常，说明mask传播是问题所在，后续可通过自定义损失函数忽略padding位置的损失来替代mask_zero功能。

2. 自定义Concatenate层，屏蔽mask传播 #

Keras默认会合并输入层的mask，这里自定义Concatenate层不传递mask，避免广播错误：

class NoMaskConcatenate(keras.layers.Concatenate):
    def compute_mask(self, inputs, mask=None):
        return None  # 停止mask传播

# 替换原Concatenate层
decoder_concat = NoMaskConcatenate()([encoder_output, decoder_gru])

3. 严格校验输入数据类型 #

再次确认输入数据类型符合要求：

# 图像输入强制转为float32
train_images = train_images.astype('float32')
# 序列输入强制转为int32（Embedding要求输入为整数类型）
train_sequences = train_sequences.astype('int32')

4. 对齐Encoder与Decoder的mask形状（保留mask功能） #

若需要保留mask，给Encoder输出添加与Decoder匹配的全True mask：

from tensorflow.keras.layers import Lambda

encoder_output = RepeatVector(MAX_SEQ_LENGTH, name='enc_output')(encoder_output)
# 生成与Decoder mask形状一致的全True mask
encoder_mask = Lambda(lambda x: tf.ones(tf.shape(x)[:-1], dtype=tf.bool))(encoder_output)
# 绑定mask到Encoder输出
encoder_output._keras_mask = encoder_mask

额外检查项 #

• 确认vocab_size已正确定义且数值合法（非0/负数）
• 查看模型summary，确保encoder_output和decoder_gru的最后一维均为256，拼接后维度为512，与后续Dense层输入匹配

内容的提问来源于stack exchange，提问作者b13a93fe9b