Azure Data Flow用Lookup对比字符串时特殊字符匹配异常如何解决

1 替换Lookup为内连接活动 #

你需要获取两个数据流的交集，直接使用*内连接（Inner Join）*活动即可，原生支持返回两侧同时匹配的行，比Lookup活动更适配当前场景。

2 对匹配字段做标准化预处理 #

在Join活动上游，分别对两个数据流的brand、product_name字段添加派生列做格式统一，解决重音、大小写、空格等差异问题：

• 统一去除首尾空格、转换为全小写：lower(trim(brand))
• 移除重音符号：使用normalize函数先将带重音的字符拆分为基础字符+重音标记，再用正则过滤掉重音标记，示例表达式：
  regexReplace(normalize(trim(brand), 'NFD'), '[\\p{Mn}]', '')
  该处理可以将Estēe Lauder、Estée Lauder统一转换为estee lauder
• 可选：统一替换特殊符号、多余空格，避免格式差异导致匹配失败
  两个数据流分别生成标准化后的std_brand、std_product_name字段即可。

3 基于标准化字段配置匹配规则 #

内连接的匹配条件设置为：
left_stream.std_brand == right_stream.std_brand && left_stream.std_product_name == right_stream.std_product_name

4 宽松匹配可选方案 #

如果字段存在少量拼写差异，可使用levenshtein编辑距离函数做模糊匹配，示例条件：
levenshtein(left_stream.std_brand, right_stream.std_brand) <= 2 && levenshtein(left_stream.std_product_name, right_stream.std_product_name) <= 2
编辑距离阈值可根据实际业务场景调整，数据量较大时建议先做标准化再使用编辑距离，降低计算开销。

内容的提问来源于stack exchange，提问作者Java user