如何在Caption生成Transformer中提取输出序列隐表示以训练回归模型？

核心思路 #

你需要的是Transformer解码器生成文本序列时的最后一层输出隐向量，如果需要单个向量代表整个序列（适配回归模型输入），可以通过特殊token定位或序列聚合两种方式获取。

1. 基于特殊Token提取序列表示 #

标准Caption Transformer生成的序列通常包含<EOS>（结束符），这个token的隐表示可以作为整个caption的浓缩向量：

• 步骤：在解码器前向传播后，找到每个样本中第一个<EOS>的位置，取出该位置的最后一层隐向量。
• PyTorch代码示例：

# 假设decoder_output是解码器最后一层输出，shape: [batch_size, seq_len, hidden_dim]
# token_ids是生成的caption序列ID矩阵，shape: [batch_size, seq_len]
# eos_token_id为你的结束符ID（比如2）

# 定位每个样本的第一个<EOS>位置
eos_positions = (token_ids == eos_token_id).int().argmax(dim=1)

# 提取对应位置的隐向量
batch_size = decoder_output.size(0)
seq_reps = decoder_output[range(batch_size), eos_positions, :]
# seq_reps shape: [batch_size, hidden_dim]，可直接输入回归模型

2. 序列聚合获取全局表示 #

如果模型未使用特殊Token，可对解码器最后一层的所有token隐向量做聚合：

• 均值池化（最常用）：

# 对序列维度做均值，得到全局表示
seq_reps = decoder_output.mean(dim=1)
# shape: [batch_size, hidden_dim]

• 最大值池化：

seq_reps = decoder_output.max(dim=1)[0]

3. 训练阶段存储隐表示的要点 #

• 训练Transformer时，每个batch前向传播后同步提取并保存（如存为.npy或HDF5格式），确保和训练样本一一对应，避免后续推理阶段重复生成的误差。
• 若使用预训练Caption Transformer，固定其参数，直接前向传播生成序列时提取即可，无需重新训练Transformer。
• 注意区分编码器（输入图像的隐表示）和解码器（预测文本的隐表示），你需要的是解码器的输出。

内容的提问来源于stack exchange，提问作者user491683