如何优化BERT实现输入句与给定句的一对一相似性映射？

任务需求 #

• 将N_a个输入句子一对一映射到N_b个给定句子，要求每个输入句都被分配且无重复分配
• 输入句会随时间略有变化，以下是代表性映射示例：

{ 
  "typeA":            "step1 typeA (before typeB)",
  "typeD":            "type D",
  "actionA":          "actionA-suffix: typeB or Type D (type E available)",
  "typeE":            "typeE - (not-actionA)",
  "actionB":          "actionB some descriptive words",
  "typeA subtypeA":   "subtypeA typeA or typeX - (not for typeB)",
  "actionA subtypeA": "actionA-suffix: subtypeA (type E available)",
  "typeB subtypeA":   "subtypeA typeB",
  "typeC subtypeA":   "subtypeA typeC",
  "typeB":            "typeB (not subtypeA)",
  "typeF":            "get typeF or typeF-subtypeA",
  "typeF actionB":    "actionB typeF or typeF subtypeA"
}

当前实现与问题 #

• 采用流程：BERT -> 均值池化（mean-pool）-> 余弦相似度，基于sentence_transformers包实现
• 因输入特性，排除了rapidfuzz这类基于字符串对齐/编辑距离的方法，但不确定BERT是否为最优方案，是否存在过度设计，也考虑过用word2vec、glove等词嵌入模型替代句嵌入模型
• 当前核心问题：模型类别区分度不足，单个输入句可能被多个给定句选为最佳匹配，只能通过“按相似度分数排序，依次分配并排除已选句子”的方式生成合法的一对一映射，希望优化BERT性能从根源减少这类重复匹配情况

当前代码实现：

import pandas as pd
import sentence_transformers as st

model = st.SentenceTransformer('all-mpnet-base-v2')

sentences_input = [ ... ]
sentences_given = [ ... ]

# 生成编码并应用均值池化
enc_input = model.encode(sentences_input)
enc_given = model.encode(sentences_given)

# 计算余弦相似度矩阵
cos_similarity = st.util.cos_sim(enc_input, enc_given)

# 转换为带标签的DataFrame
df = pd.DataFrame(columns=sentences_input, index=sentences_given, dtype=float)
for i, sgiven in enumerate(sentences_given):
  for j, sinput in enumerate(sentences_input):
    df.loc[sgiven, sinput] = cos_similarity[j,i].item()

# 直接取每个给定句的最优输入句，会出现重复映射
mapping_bad_duplicates = df.idxmax(axis=1)

# 按分数排序生成合法的一对一映射
mapping_good = {}
by_scores = sorted(df.unstack().items(), key=lambda k: k[1], reverse=True)
sentences = set(sentences_input) | set(sentences_given)
for (sinput,sgiven), score in by_scores:
  if not sentences:
    break
  if sgiven not in sentences or sinput not in sentences:
    continue
  mapping_good[sgiven] = sinput
  sentences.remove(sgiven)
  sentences.remove(sinput)

# 转换为结果DataFrame
mapping_good_df = pd.Series(mapping_good)

优化建议 #

1. 针对任务微调BERT模型 #

• 构造匹配对训练数据：用已有的正确映射作为正样本，随机配对的句子作为负样本，使用CosineSimilarityLoss训练SBERT的语义匹配头，让模型更贴合你的任务场景，强化核心标识词汇（如typeA、actionA）的区分度
• 微调时可以加入任务特有的关键词权重，或者在训练数据中强化相似类别间的差异样本，提升模型对细分类别的识别能力

2. 优化句嵌入生成逻辑 #

• 替换池化方式：尝试用**<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>token池化**（取BERT最后一层<[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]>token作为句嵌入）或最大池化替代均值池化，不同池化方式可能捕捉到更具区分性的语义信息
• 尝试轻量模型：如果担心过度设计，可以替换为all-MiniLM-L6-v2这类轻量SBERT模型，性能接近但计算成本更低；若考虑词嵌入模型，可尝试用TF-IDF加权平均词嵌入生成句嵌入，但这类方法对复杂语义的处理效果通常弱于SBERT

3. 改进匹配算法 #

• 尝试不同相似度度量：除余弦相似度外，可测试曼哈顿距离、欧氏距离，不同度量可能在你的任务上表现更优
• 使用匈牙利算法：用scipy.optimize.linear_sum_assignment替代当前的贪心排序方法，这是二分图最优匹配的标准算法，能得到全局最优的一对一映射结果，即使模型区分度不足，也能更合理地分配句子

内容的提问来源于stack exchange，提问作者user19087