ADF复制活动动态补全源缺失列至目标及报错问题求助

核心思路 #

先收集所有源文件的完整列集合，然后在Copy Activity的映射中动态生成包含所有列的规则：源文件存在的列直接映射，缺失的列指定null()值传入目标。

具体实现步骤 #

1. 预获取所有文件的完整列列表 #

通过组合Lookup、ForEach和Set Variable Activity来提取并合并所有文件的列：

• 用Lookup Activity读取任意一个源文件的列，作为初始列集合存入变量
• 用ForEach Activity遍历剩余所有源文件，每个文件通过Lookup读取列，再用union()函数合并去重，更新列集合变量
• 最终得到包含所有列的数组变量，比如@variables('AllColumns')

2. 动态生成Copy Activity映射规则 #

在Copy Activity的映射面板切换到动态内容模式，用以下表达式生成符合要求的映射结构：

@createArray(
    foreach(
        item in variables('AllColumns'),
        createObject(
            'source', createObject('name', item),
            'sink', createObject('name', item),
            'defaultValue', if(contains(activity('Lookup_CurrentSourceFile').output.columns, item), null(), 'null()')
        )
    )
)

注意事项：

• activity('Lookup_CurrentSourceFile')是读取当前待处理文件列的Lookup Activity，用来判断当前文件是否包含目标列
• 缺失列通过defaultValue指定null()，确保Copy Activity自动填充Null值传入目标

3. 规避'unexpected type '|List`1''错误的关键 #

该错误源于表达式返回了原始List类型，未转换为Copy Activity可识别的JSON数组结构：

• 必须用createArray()包裹遍历结果，生成标准数组
• 每个映射项用createObject()构建键值对，严格匹配Copy Activity映射的格式要求
• 禁止直接返回原始列集合变量，必须转换成合规的JSON结构

替代方案：用Data Flow简化操作 #

如果Copy Activity的动态映射调试成本高，可改用Data Flow：

• 源使用Wildcard Path批量读取所有文件
• 在Derived Column转换中，手动添加所有可能的列，对缺失列直接指定null()（或用iif(isNull(列名), null(), 列名)兼容存在的列）
• Data Flow会自动为缺失列填充Null，无需复杂动态表达式

内容的提问来源于stack exchange，提问作者Akash Khare