PyTorch中Transformer编解码器eval模式下时间步值全相同问题排查

• 输入未归一化，位置编码被覆盖：你手动添加的正弦位置编码取值范围是[-1,1]，如果输入src的数值范围远大于这个区间（比如音频梅尔谱未做归一化，数值可能到几十甚至上百），位置编码的位置信息会被输入的绝对值覆盖，导致Transformer无法区分不同时间步的位置，最终输出所有时间步的值相同。解决方法是对输入做归一化，比如用torch.nn.functional.normalize缩放到[-1,1]或[0,1]区间。

• 编码器后额外添加的ReLU破坏特征差异：TransformerEncoder内部已经通过残差连接+层归一化保证特征的流动，你在编码器输出后额外加了ReLU，可能会将不同时间步的特征压缩到相同的饱和区间（比如所有值都变成正的且差异被抹平），导致输出趋同。可以尝试去掉这一步memory = self.relu(memory)，观察输出是否恢复差异。

• 模型参数初始化异常：如果TransformerEncoder的注意力层、前馈网络参数初始化过于均匀（比如所有权重初始化为相同值），会导致注意力机制无法区分不同位置的输入，输出自然一致。可以检查初始化逻辑，或者手动对注意力权重、线性层参数做非均匀初始化（比如Xavier初始化）。

内容的提问来源于stack exchange，提问作者Shamoon