Azure Data Factory数据流：重音字符转普通字符异常排查

1. Unicode字符匹配偏差：ADF数据流的translate函数对部分扩展Unicode字符（如拉脱维亚语字符'ņ'，U+0146）存在兼容性问题，即便你在字符映射中已将其对应到'n'，函数仍无法正确识别该字符，最终输出占位符'?'。
2. 字符编码解析问题：若源字段BillingCity的字符编码非UTF-8，ADF读取时会无法正确解析'ņ'这类特殊字符，后续替换操作自然失效。
3. 字符串函数局限性：translate、regex_replace、replace这类函数对非基础ASCII的区域语言特殊字符支持不完善，无法覆盖所有重音字符的转换场景。

1. Unicode归一化+正则移除重音（推荐） #

利用Unicode归一化将特殊字符拆解为基础字符+独立重音标记，再通过正则移除重音，这种方式能批量处理绝大多数拉丁语系重音字符：

trim(regex_replace(normalize(BillingCity, 'NFKD'), '\p{Mn}', ''))

• normalize(..., 'NFKD')：将复合Unicode字符分解为基础字符和独立重音符号（如'ņ'会被拆分为'n' + 重音标记）
• regex_replace(..., '\p{Mn}', '')：匹配并移除所有非间距重音标记（\p{Mn}是Unicode重音符号的正则类别）
• trim()：清理首尾空格

2. 单独精准替换目标字符 #

如果仅需处理'ņ'，可先单独替换该字符，再结合原translate逻辑，确保精准转换：

translate(trim(replace(BillingCity, 'ņ', 'n')), 'àáâãäåāăąÀÁÂÃÄÅĀĂĄèéêëēĕėęěÈÉÊËĒĔĖĘĚìíîïìĩīĭÌÍÎÏÌĨĪĬòóôõöøōŏőÒÓÔÕÖØŌŎŐùúûüũūŭůÙÚÛÜŨŪŬŮçćĉċčÇĆĈĊČñńňÑŃŇ','aaaaaaaaaAAAAAAAAAeeeeeeeeeEEEEEEEEEiiiiiiiiiiiiiiiiiooooooooOOOOOOOOOuuuuuuuuUUUUUUUUcccccCCCCCnnnNNN')

注意移除原字符列表中的'ņ'，避免重复处理导致冲突。

3. 校验源数据编码 #

检查ADF数据源配置：

• 若为文本文件，在数据集连接设置中指定编码为UTF-8
• 若为数据库，确保表字段的字符集为UTF-8或Unicode兼容编码
  避免字符读取阶段就出现乱码，导致后续替换失效。

内容的提问来源于stack exchange，提问作者20R212 - DINESH KUMAR P