如何获取BERT多标签文本分类所针对的目标词汇？

• 结合BERT的Token级注意力权重
  BERT输出的注意力权重能反映模型对每个token的关注程度。针对每个预测出的标签，可提取该标签对应注意力权重最高的若干token，再结合原句分词结果（注意合并BERT拆分的subword为完整词汇），筛选出和标签语义匹配的词汇。比如用transformers库获取模型注意力矩阵，计算每个token在对应标签分类头的权重占比。

• 引入Token分类辅助任务联合训练
  在多标签文本分类任务基础上，额外添加Token级序列标注任务（比如BIO标注，标记哪些token属于某标签的目标词汇），和原分类任务共享BERT编码器权重联合训练。模型输出分类结果的同时，能直接预测句子中对应每个标签的目标词汇，后续直接提取标注为目标的token即可。

• 基于关键词匹配+语义相似度过滤
  先针对每个分类标签构建关键词词库（比如标签为“故障类型”，词库包含“卡顿”“死机”等），对预测出标签的句子分词后，计算每个分词和标签词库的语义相似度（用BERT embedding计算余弦相似度），筛选出相似度高于阈值的词汇作为目标词汇。这种方法适合标签体系固定、关键词明确的场景。

• 利用梯度加权的Token重要性计算
  计算每个token对分类输出的梯度贡献，梯度绝对值越大的token对该标签预测影响越大。通过反向传播获取每个输入token的梯度，排序后提取Top N的token，再结合上下文合并成完整词汇。比如在PyTorch中可通过torch.autograd计算token梯度。

内容的提问来源于stack exchange，提问作者Shamim Mahbub