如何使用Word2Vec识别相似词 实现动态业务语句词汇映射

核心问题 #

现有规模为N的固定预设业务词集，需要将用户动态输入的同业务领域语句做分词后，把每个分词token匹配映射到预设词集的对应词汇。实际场景里用户表述同一语义会用到各种不同措辞，靠人工维护全量同义词成本极高、很难做到全覆盖，所以需要基于Word2Vec搭建相似词自动识别机制，完成高效的词汇映射。

典型场景示例：

1. A meeting scheduled by john
2. A meeting organized by john
   两句话语义完全一致，差异仅在scheduled和organized两个近义表述。如果预设词集里已经收录了scheduled，当用户输入第二句话时，系统需要自动把句中的organized映射匹配到scheduled。

具体实现步骤 #

• 训练适配业务场景的Word2Vec模型
  别直接用网上随便下的通用预训练Word2Vec模型，通用语料训练出来的词向量对垂直业务场景的语义适配性很差，匹配准度根本达不到可用标准。直接拿你自己业务沉淀的历史语料（历史用户输入、业务文档、历史工单、操作日志这类同领域文本）当训练集，先做基础预处理：清除乱码、特殊符号，做分词（英文按空格切分后过滤停用词，中文用分词工具切词即可），再用Word2Vec训练词向量，常用参数参考：向量维度设100-300，上下文窗口大小设5，最小出现词频设2，训练完成后就能得到每个词在你当前业务语境下的语义向量。
• 预构建预设词集向量索引
  把预设业务词集里的N个词逐个从训练好的模型里取出对应的词向量，构建向量索引库。如果词集规模不大，直接用内存字典存词和对应向量就行；如果N的量级到十万以上，可以用向量检索工具建索引，大幅提升后续相似度计算的速度。
• 输入语句的分层匹配
  用户输入新语句后，先做和模型训练阶段完全一致的预处理，拿到分词后的token列表。对每个token优先做精确匹配：如果token本身就在预设业务词集里，直接完成映射，不需要额外计算；如果不在预设词集里，就取出这个token的词向量，和索引库里所有预设词的向量计算余弦相似度。
• 阈值校验输出映射结果
  提前拿你业务里已有的同义词样本调试出合适的相似度阈值，一般在0.7-0.85区间取值，根据业务对准确率、召回率的要求调整就行：如果是指令识别、计费规则匹配这类对准确率要求极高的场景，就把阈值设高一点；如果是搜索改写、语义推荐这类对召回要求高的场景，就适当降低阈值。待匹配token和某个预设词的相似度超过阈值时，就把该token映射到对应预设词；如果所有预设词和它的相似度都低于阈值，就标记为未登录词，后续积累到一定量之后补充进词集、迭代模型即可。

优化注意事项 #

• 不要硬套通用模型的结果，垂直领域的语义偏差非常常见，比如办公场景里的“抄送”、电商场景里的“拍单”，通用模型根本识别不对这些词的业务语义，必须用自己的业务语料训练或者微调模型。
• 相似度阈值不要直接抄网上的数值，一定要用自己业务的测试样本调，适合别人业务的阈值放到你这可能完全没法用。
• 平时注意积累人工修正的匹配错例、未登录词，定期把这些新语料加入训练集更新模型，用的时间越久匹配准度越高。

内容的提问来源于stack exchange，提问作者Dinesh Kumar