如何在ADF中为Sink SQL表动态补全Excel源缺失的列？

步骤1：获取SQL目标表的完整列列表 #

• 新增Lookup活动，执行SQL查询获取目标表的所有列：

  SELECT COLUMN_NAME 
  FROM INFORMATION_SCHEMA.COLUMNS 
  WHERE TABLE_NAME = '你的目标表名' 
    AND TABLE_SCHEMA = '你的架构名' -- 比如dbo
  

• 该活动的结果会包含目标表的所有列名，后续用于对比。

步骤2：获取Excel文件的表头列 #

• 新增另一个Lookup活动，配置读取Excel文件的第一行（表头）：
  • 数据源选择你的Excel链接服务，指定目标sheet
  • 勾选First row only选项，只读取表头行
• 用表达式@keys(activity('Lookup_Excel_Header').output.firstRow)提取Excel的列名列表。

步骤3：生成动态补全的列映射 #

• 新增Set Variable活动，创建一个数组类型的变量（比如dynamicMapping），用以下表达式生成映射规则：

  @createArray(
      foreach(item in activity('Lookup_SQL_Columns').output.value, 
          createObject(
              'source', createObject('name', if(contains(keys(activity('Lookup_Excel_Header').output.firstRow), item.COLUMN_NAME), item.COLUMN_NAME, '')),
              'sink', createObject('name', item.COLUMN_NAME)
          )
      )
  )
  

  逻辑：遍历SQL表的每一列，若Excel存在该列则映射对应列，不存在则映射空值（空字符串）到目标列。
• 若列名大小写敏感，可将对比部分改为contains(toLower(keys(...)), toLower(item.COLUMN_NAME))统一大小写。

步骤4：在Copy Activity中应用动态映射 #

• 打开Copy Activity的映射标签，先点击导入架构，然后切换到动态内容模式
• 将@variables('dynamicMapping')粘贴到动态内容框中，保存配置
• 运行流水线时，Copy Activity会自动按照映射规则，补全所有缺失的列并填充空值，再写入SQL目标表。

注意事项 #

• 针对SQL表的不同数据类型调整空值：数值类型用null替代''，日期类型也用null
• 确保Lookup活动拥有读取SQL元数据和Excel文件的权限
• 若Excel包含多个sheet，需在Lookup活动中明确指定要迁移的sheet

内容的提问来源于stack exchange，提问作者Kanta Maria