如何在ADF管道中动态处理列缺失的ADLS CSV至SQL复制任务？

步骤1：获取源CSV的列元数据 #

• 在Data Factory管道中添加Get Metadata活动，指向ADLS中的CSV数据集：
  • 数据集配置：务必勾选「第一行作为表头」，并正确配置ADLS文件路径。
  • Get Metadata字段选择Column names，以此获取当前CSV的所有列名列表。

步骤2：定义目标SQL表的固定列集合 #

• 添加Set Variable活动，创建字符串数组变量（如var_target_columns），值为SQL表的9个固定列名，示例：

  ["col1", "col2", "col3", "col4", "col5", "col6", "col7", "col8", "col9"]
  

步骤3：计算源与目标的列交集 #

• 再添加一个Set Variable活动，创建变量var_mapping_columns，用表达式筛选出源列中存在于目标列的部分：

  @filter(variables('var_target_columns'), contains(activity('Get Metadata1').output.columnNames, item()))
  

  若源列与目标列大小写不一致，可统一转换后匹配：

  @filter(variables('var_target_columns'), contains(toUpper(activity('Get Metadata1').output.columnNames), toUpper(item())))
  

步骤4：动态生成复制活动的映射规则 #

• 添加Copy Data活动，源配置为ADLS CSV数据集，目标配置为Azure SQL DB数据集。
• 切换到复制活动的「映射」标签，启用动态内容模式，用以下表达式生成仅包含交集列的映射：

  @createArray(
      @foreach(
          item in variables('var_mapping_columns'),
          createObject(
              "source", createObject("name", item),
              "sink", createObject("name", item)
          )
      )
  )
  

  该表达式会自动遍历所有匹配列，生成源到目标的一一映射，忽略源文件中缺失的列。

额外注意事项 #

• 确保Azure SQL表中可能缺失的列允许为NULL，否则即使跳过映射，插入数据时仍会因非空约束报错。

内容的提问来源于stack exchange，提问作者Tarun Thakur