在Azure Data Factory中按文件额外表头拆分CSV文件

问题背景 #

现有如下格式的CSV文件：

Col1, Col2, Col3, Col4
Header1, , ,
Val1, Val2, Val3, Val4
Val1, Val2, Val3, Val4
Val1, Val2, Val3, Val4
Header2, , ,
Val1, Val2, Val3, Val4
Header3, , ,
Val1, Val2, Val3, Val4
Val1, Val2, Val3, Val4

其中每个自定义表头（如Header1）对应的数据行数不固定，表头内容无规律。需要实现以下两种输出之一：

选项1：生成带表头映射列的单个文件 #

输出路径：abc/abc/complete_output

Col1, Col2, Col3, Col4, Col5
Val1, Val2, Val3, Val4, Header1
Val1, Val2, Val3, Val4, Header1
Val1, Val2, Val3, Val4, Header1
Val1, Val2, Val3, Val4, Header2
Val1, Val2, Val3, Val4, Header3
Val1, Val2, Val3, Val4, Header3

选项2：按表头拆分生成独立文件 #

• 文件1：abc/abc/Header1

Col1, Col2, Col3, Col4
Val1, Val2, Val3, Val4
Val1, Val2, Val3, Val4
Val1, Val2, Val3, Val4

• 文件2：abc/abc/Header2

Col1, Col2, Col3, Col4
Val1, Val2, Val3, Val4

• 文件3：abc/abc/Header3

Col1, Col2, Col3, Col4
Val1, Val2, Val3, Val4
Val1, Val2, Val3, Val4

疑问：无Databricks集群访问权限，能否完全通过Azure Data Factory（含Data Flow）实现上述需求？此前尝试条件拆分无效，因为无法通过固定行值判断表头。

可行方案（基于ADF Data Flow） #

选项1：生成带表头映射列的单个文件 #

1. 源数据集配置：读取原始CSV，将第一行设为表头，后续所有行按数据行处理（原始文件中的Header1类行会被识别为数据行）。
2. 派生列转换：新增标记列is_header，判断逻辑为trim(Col2) == '' && trim(Col3) == '' && trim(Col4) == ''——利用表头行Col2-Col4为空的特征识别表头。
3. 窗口转换：添加自增列row_num（表达式row_number()）作为排序依据，确保行顺序与原始文件一致；再新增窗口列current_header，表达式为last(if(is_header, Col1, null), true)，实现将表头行的Col1值向前填充至后续所有数据行。
4. 筛选转换：过滤掉is_header == true的行，仅保留有效数据行。
5. 派生列转换：将current_header重命名为Col5，调整列顺序匹配输出要求。
6. 接收器配置：输出至路径abc/abc/complete_output，选择CSV格式并保留表头。

选项2：按表头拆分生成独立文件 #

完成选项1的步骤1-4后，继续执行以下操作：

1. 动态拆分数据流：使用条件拆分转换，以current_header为拆分键，实现按表头值动态拆分分支（无需提前枚举所有表头）。
2. 参数化接收器：为每个分支配置接收器，文件路径设置为abc/abc/@{current_header}，CSV格式仅保留原始表头Col1-Col4，排除current_header列。

补充说明 #

• 表头识别逻辑可根据实际CSV特征调整：若表头行不是Col2-Col4为空，可替换为其他判断规则（如Col1包含特定标识、某列值固定等）。
• 窗口转换中必须保证行顺序正确，自增列row_num的作用是避免数据乱序，确保表头填充逻辑准确。

内容的提问来源于stack exchange，提问作者Joost Horskamp