如何融合不同形状的向量表示？求[32,256]转[32,80,256]的方案

• unsqueeze + repeat 可行但并非最优
  你可以先通过unsqueeze(1)将形状为[32, 256]的张量转为[32, 1, 256]，再用repeat(1, 80, 1)得到[32, 80, 256]。但这种方式会复制张量数据，当batch size或序列长度（80）较大时，会增加显存占用压力。

• 更高效的替代方案

  • PyTorch场景：使用unsqueeze + expand组合。先通过unsqueeze(1)得到[32, 1, 256]，再调用expand(-1, 80, -1)（-1表示保留原维度大小）。expand不会复制数据，仅在视图层面扩展，显存利用率更高。
  • TensorFlow/Keras场景：直接使用RepeatVector(80)层，可将输入张量[32, 256]直接转换为[32, 80, 256]，适合在模型序列中直接集成。

• 额外优化思路
  你可以调整融合顺序：先对[32, 256]的张量用线性层将维度转为789，得到[32, 789]，再通过unsqueeze(1)转为[32, 1, 789]，利用广播机制直接和[32, 80, 789]的张量进行拼接或元素级融合，无需显式扩展到80长度，进一步简化流程。

内容的提问来源于stack exchange，提问作者AfonsoSalgadoSousa