在DataFactory参数驱动复制任务中移除源数据换行符

针对你用参数驱动复制任务、通过动态Query导出百张表到Blob Storage CSV时遇到的字段换行符问题，提供两种可行方案：

方案一：修改动态SELECT语句，清理或包裹字段内容 #

因为你是通过动态构建Query取数，直接在SELECT阶段处理字段里的换行符是最直接的方式，分两种处理思路：

1. 清除字段中的换行/回车符 #

如果业务上不需要保留字段内的换行，可以用REPLACE函数去除CHAR(10)（换行）和CHAR(13)（回车）。假设你通过Lookup活动获取了目标表的字段列表，可通过ADF表达式动态拼接处理后的SELECT语句：

concat('SELECT ', join(map(activity('Lookup_Table_Fields').output.value, x => concat('REPLACE(REPLACE(', x.ColumnName, ', CHAR(13), \'\'), CHAR(10), \'\') AS ', x.ColumnName)), ', '), ' FROM ', item().TableName)

这段表达式会遍历表的所有字段，自动生成清除换行符的处理逻辑，无需手动写每个字段。

2. 用双引号包裹字段内容（保留换行） #

如果需要保留字段内的换行，可将字段值用双引号包裹，并转义字段内可能存在的双引号，确保CSV读取工具能识别完整字段：

concat('SELECT ', join(map(activity('Lookup_Table_Fields').output.value, x => concat('''"'' + REPLACE(', x.ColumnName, ', ''"'', ''""'') + ''"'' AS ', x.ColumnName)), ', '), ' FROM ', item().TableName)

这样生成的CSV中，含换行的字段会被双引号包裹，读取时不会被误判为新行。

方案二：配置ADF复制活动的CSV接收器设置 #

无需修改Query，直接在复制活动的接收器CSV格式设置中调整参数：

• 设置Quote character为"（双引号）
• 设置Escape character为"（双引号）
• 开启Always quote all columns选项（可选，确保所有字段都被引号包裹）

这种方式会让ADF自动将含特殊字符（包括换行）的字段用双引号包裹，读取工具（如Pandas、SQL Server Bulk Insert）会按照CSV规范识别完整字段，不会拆分换行。

方案适配建议 #

• 如果不需要保留字段内换行：优先用方案一的清除逻辑，避免CSV文件体积变大，同时减少读取时的解析复杂度
• 需要保留换行：结合方案二的CSV配置，或方案一的包裹逻辑，确保数据完整性

内容的提问来源于stack exchange，提问作者LordRofticus