ADF中将多来源相似异构表合并为统一表的最优方案咨询

前置准备 #

• 完成三个Config Items表的数据源接入：在ADF管理中心创建对应数据源的链接服务，确保ADF具备对应资源的读取权限
• 提前在目标Data Lake中创建Table Storage的链接服务，配置好访问密钥保证写入权限
• 预先统计三个表所有出现过的字段，确认最终总表的字段列表：你示例中的场景最终字段为ID、Item、Type、Date四个

核心Pipeline构建步骤 #

方案1：映射数据流实现（推荐，低代码适配性强） #

1. 新建映射数据流，添加三个源组件，分别对应三个不同数据源的Config Items表
2. 每个源后新增派生列组件：
   • 对当前源缺失的目标总表字段，手动添加派生列，值统一设置为null
   • 示例场景中，仅含ID、Item的表1需要新增派生列Type = null、Date = null，三个源处理完成后字段列表完全一致
3. 添加**联合（Union）**组件，将三个处理完成的源按字段对齐合并，字段名一致会自动匹配无需额外映射
4. 联合后添加**接收器（Sink）**组件，类型选择Azure Table Storage，关联提前创建好的链接服务，配置目标表名，映射所有字段即可

注意：Table Storage写入要求必须指定PartitionKey和RowKey，可直接复用现有字段（比如ID作为RowKey，固定值ConfigItem作为PartitionKey），也可新增派生列生成符合要求的键值，避免写入冲突

方案2：复制活动+SQL语句实现（适合所有源均为结构化数据库的场景） #

• 先通过三个复制活动将三个源表同步到Data Lake的临时存储（比如ADLS Gen2临时容器），调用Serverless SQL池执行Union查询，语法参考：

SELECT ID, Item, NULL AS Type, NULL AS Date FROM ConfigItems_1
UNION ALL
SELECT ID, Item, Type, NULL AS Date FROM ConfigItems_2
UNION ALL
SELECT ID, Item, Type, Date FROM ConfigItems_3

• 新增一个复制活动，将上述查询结果直接写入目标Table Storage即可

验证点 #

• 测试pipeline运行完成后，核对目标Table Storage的总数据量是否等于三个源表的行数之和
• 抽查不同源表对应的行数据，确认缺失字段位置为空白，无字段错位、数据丢失问题

内容的提问来源于stack exchange，提问作者gumdrop