如何在Azure Data Flow中合并带表头与无表头的CSV为单个Parquet文件

针对你在Azure Data Flow中合并带表头/无表头CSV的需求，以下是无需手动维护映射、能自动适配表头变更的实现方案：

步骤1：拆分数据源配置 #

• 创建两个CSV数据源：
  • 带表头文件数据源：勾选「第一行作为表头」，Source Options中设置Skip rows为0，直接读取带列名的数据。
  • 无表头文件数据源：不勾选「第一行作为表头」，系统会默认生成Column_0、Column_1这类按位置命名的列。

步骤2：动态提取标准表头 #

• 添加**Get Metadata（获取元数据）**组件，连接到带表头的数据源：
  • 在Fields选项中仅勾选Column names，让组件提取该数据源的完整列名列表。
• 添加**Derived Column（派生列）**组件，将元数据输出的列名列表转为可复用的数组变量，比如定义headerArray = columnNames（columnNames是Get Metadata输出的列名字段）。

步骤3：给无表头文件自动映射表头 #

• 添加**Select（选择）**组件，连接到无表头的数据源：
  • 启用「动态映射」：点击Add dynamic mapping，选择By position规则，将无表头文件的Column_N映射到headerArray[N]（比如Column_0对应headerArray[0]，Column_1对应headerArray[1]）。这样无表头文件的列会自动对齐带表头文件的列名。

步骤4：合并两类数据 #

• 添加**Union（联合）**组件，接入带表头数据源的输出、以及经过动态映射后的无表头数据源输出：
  • 勾选Auto map by name，系统会自动按列名匹配合并数据，无需手动维护列映射关系。

步骤5：输出为Parquet文件 #

• 将Union组件的输出连接到Sink（接收器），选择Parquet格式，配置好存储路径与其他输出参数即可完成合并输出。

核心优势 #

• 完全适配表头变更：只要带表头文件的列名更新，Get Metadata组件会自动提取新列名，无表头文件的映射规则也会同步更新，无需手动修改任何配置。
• 零人工维护映射：全程通过动态变量与自动映射实现，避免手动调整映射带来的错误与重复劳动。

内容的提问来源于stack exchange，提问作者user19504539