TensorFlow复制层输出重塑及层拼接形状不匹配报错求解

报错原因 #

拼接时形状不匹配的核心原因是你在构建元数据网络时直接调用了原生TensorFlow的tf.expand_dims、tf.repeat操作，Keras静态图推断无法识别这两个操作输出的固定第二维度，导致元数据特征的形状被识别为(None, None, 128)，和视觉特征的(None, 200, 1024)无法在第三维度拼接。

修复方法 #

直接替换原代码中的维度扩展、重复逻辑，用Keras原生的RepeatVector层即可，该层专门用于将二维特征(batch, feature_dim)扩展为三维特征(batch, repeat_times, feature_dim)，完全符合你的需求，且能被Keras正确推断静态形状：
找到build_tabular_data_network中的以下两行代码：

x = tf.expand_dims(x, axis=1)
x = tf.repeat(x, repeats=200 , axis=1)

替换为：

x = KL.RepeatVector(n=200)(x)

修改后重新运行即可解决形状不匹配的报错。

拼接方案合理性说明 #

这个特征融合思路是合理的，属于多模态特征融合的经典实现：

• 你提取的128维是整张图像的全局元数据特征，重复200次后，相当于给每个ROI的局部视觉特征都拼接了对应的全局元信息，能让后续的分类、回归头同时利用ROI的局部视觉信息和整张图像的元数据信息，在元数据和检测目标强相关的场景下，能明显提升检测效果。
• 如果后续发现融合效果不如预期，可以尝试在拼接前给128维元特征再加一层全连接做特征变换，缩小元特征和视觉特征的分布差异，进一步提升融合效果。

内容的提问来源于stack exchange，提问作者Nabil As'ad bin Yusof