针对LUIS的实体同义词及拼写错误批量生成方法咨询

同义词生成方案 #

• 用开源预训练词向量模型（比如中文Word2Vec、ERNIE小模型）批量生成：把已录入的实体词作为输入，设置余弦相似度阈值（建议0.8以上），筛选出语义匹配的候选同义词，再加简单规则过滤掉语义偏差的结果即可。如果是垂直行业场景，先用行业语料微调模型，准确率会提升不少。
• 已有行业同义词库的话直接写脚本匹配：把LUIS导出的实体列表和现有同义词库做字段匹配，直接批量拉取对应同义词，这种方式准确率最高，适合有行业数据积累的团队。

拼写错误变体生成方案 #

• 规则化批量生成：根据目标用户的常见输入错误规律定制生成规则，中文场景可配置同音字替换、形近字替换、漏字/多字/语序颠倒规则；英文场景可配置键盘相邻字符替换、元音混淆替换、常见拼写错误映射规则，一次性为所有实体生成符合规律的变体，生成后自动去重即可。
• 历史聊天日志挖掘：如果已经有存量用户聊天数据，可以拉取所有实体识别失败的用户输入，和现有实体做编辑距离匹配（一般设置编辑距离≤2即可），匹配上的内容直接作为对应实体的拼写变体，这种方式生成的变体都是真实用户会输入的，实用性最强。

批量落地技巧 #

• 不需要手动在LUIS后台录入，直接调用LUIS的批量操作接口，写简易脚本就能把生成好的同义词、变体批量同步到对应实体下。
• 生成候选内容时建议加可信度评分，只导入评分≥80分的内容，避免无效变体过多拉低LUIS的识别准确率。
• 先选10~20个实体做小范围测试，验证生成内容的准确率符合预期后再全量操作，减少后续清理无效数据的工作量。

内容的提问来源于stack exchange，提问作者Sharvani