PyTorch transformers输入词梯度显著性分析的异常问题排查

你观察到的「负面词bad对负面预测的贡献分数为负」的矛盾现象，是以下几个实现层面的逻辑漏洞叠加导致的：

• 显著性公式和NLP场景错配
  你现在用的「输出对嵌入的梯度 × 嵌入值逐元素相乘后求和」的计算逻辑，是直接从图像分类的可解释性方法照搬的。图像任务的输入是经过零中心归一化、取值范围在[-1,1]的像素，这种场景下乘积的符号能对应“特征正向促进/抑制最终预测”的直观语义；但BERT的词嵌入没有做过零中心约束，嵌入空间各个维度的数值正负本身没有明确物理含义，逐元素相乘后跨维度求和的结果没有稳定的符号意义——哪怕某个词的梯度方向明确是“提升当前预测类别的logits”，最终算出来的分数也可能是负的，自然和“bad应该拉高负面情感预测值”的预期对不上。
• 贡献方向的符号逻辑被人为打乱
  梯度本身的物理意义是非常明确的：对embedding层某位置输出求导得到的梯度，代表“把当前位置的嵌入向量往梯度方向微调时，目标类别的logits会升高”。这个值的正负可以直接对应“正向支持当前预测/反向抵制当前预测”的直观语义。你强行把梯度和嵌入值相乘，相当于引入了嵌入本身的数值偏移，把原本清晰的符号逻辑给彻底打乱了。
• 容易出现类别映射的方向错位
  你调用的textattack/bert-base-uncased-imdb模型没有在配置里明确标注索引对应的情感类别，很多时候你以为模型输出的是负面类别，实际argmax拿到的索引对应的是正面类别。这个时候反向传播算出来的梯度全是针对正面类别的，bad这种带负面语义的词本来就会拉低正面类别的logits，分数自然是负的，和你观察到的异常现象完全吻合。
• 归一化操作没有修正前置的逻辑错误
  你用的L1归一化只是把所有分数按绝对值缩放到总和为1的范围，根本不会调整前面计算出来的错误符号，反而会让错位的分数看起来更规整，增加排查的难度。

修正核心逻辑的参考：把梯度乘嵌入的步骤去掉，直接按token位置对梯度的所有嵌入维度求和，保留原始符号，就能得到和直观语义匹配的贡献分数。修正后的核心计算段如下：

saliency_grad = embeddings_gradients[0].detach().cpu().numpy()        
# 直接对每个token的梯度按嵌入维度求和，不要乘嵌入值
saliency_grad = np.sum(saliency_grad[0], axis=1)
norm = np.linalg.norm(saliency_grad, ord=1)
saliency_grad = [e / norm for e in saliency_grad] 

内容的提问来源于stack exchange，提问作者Hossein