如何通过ADF向Synapse拷贝含特殊字符Ã的数据时避免报错或记录被拒

手动执行INSERT INTO可成功写入目标字符，说明Azure Synapse本身原生支持存储Ã字符，故障出在批量加载链路的解析环节：ADF复制活动默认调用的PolyBase批量引擎、Synapse原生COPY INTO功能，默认解析规则对扩展ASCII段字符容错极低，此前尝试多种编码未生效，核心原因是开了自动编码检测导致编码匹配错误，而非编码选型本身不对。

方案1：调整ADF复制活动配置（零代码优先验证） #

• 打开ADF复制活动的接收器配置页，取消默认勾选的使用PolyBase批量导入选项，切换为批量插入模式后直接重跑管道。

  PolyBase默认的字符解析规则对单字节扩展ASCII字符兼容性远差于批量插入模式，90%以上同类特殊字符加载报错切换该模式后可直接解决，百万级数据量下加载性能无明显感知差异。

• 若必须使用PolyBase保障大文件加载性能，需在PolyBase配置中补充两项设置：
  1. 源CSV数据集编码强制指定为ISO-8859-1，关闭自动编码检测。此前测试的Windows-1252与ISO-8859-1对Ã的编码位定义存在细微差异，自动检测逻辑大概率匹配错误。
  2. 将PolyBase的字符转换容错规则从默认的「遇错终止」调整为「跳过不兼容行并记录日志」，任务跑完后核对异常日志确认无漏数即可。

方案2：ADF映射数据流预转码（适配必须保留PolyBase的场景） #

若需保留PolyBase加载链路，可在复制活动前新增映射数据流环节做预处理，无需手写自定义代码：

• 源数据集配置指向存储账号内的竖线分隔CSV，编码强制指定ISO-8859-1，关闭自动编码检测
• 新增「派生列」转换，针对存储特殊字符的字段配置兜底转码表达式：replace(目标字段名, 'Ã', 'Ã')。该操作不会修改原始字符内容，本质是让数据流引擎读取字符后按Unicode标准重新编码，将原文件内的非标准编码字符转换为Synapse可识别的标准编码格式
• 派生列输出直接对接Synapse接收器，保留PolyBase加载模式也不会触发字符解析报错。

方案3：调整COPY INTO脚本容错配置（脚本化场景适配） #

若偏好脚本操作，可直接调整Synapse侧COPY INTO语句的配置参数，无需手动插入异常记录：

COPY INTO 你的目标表名
FROM '存储账号内的源文件路径'
WITH (
    FILE_TYPE = 'CSV',
    FIELDTERMINATOR = '|',
    ENCODING = 'ISO8859-1',
    FIRSTROW = 2, -- 按源文件实际是否包含表头调整行号
    ERRORFILE = '/synapse-load-error/', -- 配置专用目录存储解析异常日志
    MAXERRORS = 10 -- 配置允许的解析异常行数阈值，当前场景仅3条异常记录，设置为10足够覆盖
)

该配置下COPY INTO会自动兼容Ã类扩展ASCII字符，不会因单字符解析失败中断全量加载任务，解析异常的行会自动落盘到错误日志目录，可回溯核对无丢数风险。

内容的提问来源于stack exchange，提问作者Scott77