PyTorch中如何将不同维度的视觉、文本嵌入统一调整为512维？

方案可行性说明 #

你提到的在两个编码器末尾各新增一个512维输出层的方案完全可行，这也是跨模态嵌入对齐任务中最通用的特征空间映射方案，既可以快速统一两类特征的维度，也能在后续训练中通过对齐损失将两类特征约束到同一个语义空间，不会破坏原有编码器学到的语义特征。

基础实现代码 #

import torch
import torch.nn as nn

# 定义视觉、文本特征的投影层
img_projection = nn.Linear(in_features=1000, out_features=512)
txt_projection = nn.Linear(in_features=712, out_features=512)

# 模拟你拿到的原始特征
img_features = torch.randn(1, 1000)
txt_features = torch.randn(1, 712)

# 执行维度投影
img_aligned = img_projection(img_features)
txt_aligned = txt_projection(txt_features)

# 验证输出维度
print(img_aligned.shape, txt_aligned.shape)
# 输出结果：torch.Size([1, 512]) torch.Size([1, 512])

优化版投影层实现（推荐） #

如果需要提升特征的区分度、缓解投影后的特征偏移，建议在全连接层后增加激活函数和层归一化，实际使用中效果优于纯线性投影：

# 视觉特征投影层
img_projection = nn.Sequential(
    nn.Linear(1000, 512),
    nn.ReLU(),
    nn.LayerNorm(512)
)

# 文本特征投影层
txt_projection = nn.Sequential(
    nn.Linear(712, 512),
    nn.ReLU(),
    nn.LayerNorm(512)
)

训练策略参考 #

• 若预训练VGG、Transformer编码器效果较好，且训练数据量偏小：可冻结两个编码器的所有参数，仅训练投影层，降低过拟合风险
• 若训练数据量充足：可将编码器和投影层联合微调，通常能拿到更好的跨模态对齐效果

内容的提问来源于stack exchange，提问作者mynameistedbond