使用Azure Data Factory生成带表头表尾的合并CSV文件问题

一、生成包含表头+数据+表尾的单一CSV文件 #

目前数据流输出表尾到单独文件，核心原因是默认分区输出导致内容拆分，可通过以下方法解决：

方法1：数据流强制单分区输出（推荐） #

1. 合并源文件：使用Union活动将两个平面文件的数据集合并，完成数据部分的处理。
2. 添加表头行：创建仅包含表头的单行数据集（比如手动生成一个CSV文件，内容为目标表头字段），通过Union活动将表头行合并到数据流最前端（注意调整Union的字段匹配规则，确保对应关系正确）。
3. 添加表尾行：用Aggregate活动计算合并后的数据总行数，再通过Derived Column生成表尾行（例如concat('Total Records: ', toString(count()))），最后用Union将表尾行合并到数据流最后端。
4. 单分区输出：在Sink活动的Settings面板中，设置Partition option为Single partition，强制数据流输出单个文件，避免表头/表尾被拆分。

方法2：Azure Function辅助合并文件 #

如果数据流设置仍有问题，可借助Azure Function完成最终合并：

• 先通过数据流输出包含表头+数据的文件，以及单独的表尾文件到Blob存储。
• 编写Azure Function，下载这两个文件到临时目录，将表尾内容追加到表头+数据文件的末尾。
• 将合并后的单一文件上传回目标Blob路径。

二、CSV双引号转义处理 #

数据流中手动处理 #

在Derived Column活动中，对包含双引号的字段使用replace函数转义（CSV规范要求用双引号转义双引号）：

replace(your_target_column, '"', '""')

复制活动自动处理 #

如果使用复制活动完成数据写入，在Sink的Format settings中：

• 设置Quote character为"
• 勾选Escape quote character，并选择Escape with double quote选项，复制活动会自动完成双引号的转义处理。

内容的提问来源于stack exchange，提问作者Jaganath K