ADF复制活动中合并ADLS Gen2的CSV为Parquet时补全缺失列的方法

针对你提到的CSV文件列缺失、需要合并为Parquet文件的场景，结合现有复制活动配置，可通过以下几种方式补全缺失列：

1. 优化存储过程生成的映射规则 #

你当前通过存储过程生成全量列的schema映射，可在生成映射时给每个目标列添加默认值配置。具体来说，在生成的映射JSON中，为每个可能缺失的列定义sink节点的defaultValue属性：

{
  "source": {
    "name": "source_column_name"
  },
  "sink": {
    "name": "target_column_name",
    "defaultValue": "" // 根据列类型设置：字符串用空串、数值用0、日期用null或指定日期
  }
}

当复制活动读取到无对应源列的CSV文件时，会自动用配置的默认值填充Parquet的对应列。如果需要保留NULL值，直接将defaultValue设为null即可。

2. 配置复制活动的缺失列容忍逻辑 #

在复制活动的源设置高级选项中，开启允许跳过不匹配的列；同时在目标设置的高级选项里，确保保留全量schema的配置生效。结合已有的全量映射，复制活动会自动为缺失列填充NULL值（或映射中配置的默认值）。

3. 用数据流实现灵活补全 #

如果需要复杂的补全规则（比如不同列用不同默认值、动态判断补全内容），可以改用数据流处理：

• 用源组件读取ADLS Gen2下的所有CSV文件（配置通配符路径）；
• 添加派生列组件，针对每个可能缺失的列，用ifNull函数补全：
  字符串列示例：ifNull(col_name, "")，数值列示例：ifNull(col_name, 0)；
• 用接收器组件将处理后的数据输出为Parquet文件到指定路径。

注意事项 #

• 确保全量schema的类型一致性：缺失列的默认值类型必须与Parquet目标列类型匹配，避免类型转换错误；
• 若用存储过程生成映射，需确保映射生成逻辑能正确给每个列添加上默认值配置。

内容的提问来源于stack exchange，提问作者Saurabh Mehta