Microsoft LUIS列表实体导入时字母误判问题咨询

LUIS 内部视为等价的字符对 #

LUIS 对部分拉丁系语言字符会做归一化处理，导致不同字符被判定为重复内容，触发409错误。以下是常见的等价映射对：

北欧/冰岛语相关 #

• æ ↔ ae
• þ ↔ th
• ð ↔ d
• ö ↔ oe（部分语言场景下）
• å ↔ aa（部分语言场景下）

通用拉丁字符归一化 #

• 带重音的元音与无重音形式等价：
  • é/è/ê/ë ↔ e
  • á/à/â/ä ↔ a
  • í/ì/î/ï ↔ i
  • ó/ò/ô/ö ↔ o
  • ú/ù/û/ü ↔ u
• 特殊字符等价：
  • ñ ↔ n
  • ç ↔ c

批量处理方案 #

可以基于上述映射编写脚本，对List Entity的JSON条目做预处理：

1. 统一将所有等价字符转换为同一基准形式（比如把特殊字符替换成对应的拉丁字母组合）
2. 对转换后的条目去重，再导入LUIS，避免重复冲突

内容的提问来源于stack exchange，提问作者AndreasS