在Azure Sink中添加动态派生列的可行方案咨询
在Azure Sink中添加基于源表关联的派生列方案
方案1:复制活动动态内容实现
- 无需依赖Data Flows,直接在复制活动的Sink映射模块新增列,通过动态表达式调用关联数据:
- 先添加
Lookup活动,查询SQL Server源表中需要关联的目标数据(比如用主键匹配关联字段)。 - 在Sink的「添加列」配置中,用表达式引用Lookup活动的输出结果,示例:
@activity('Lookup关联表').output.firstRow.目标字段名 - 该方式适合单条或小批量数据的关联场景。
- 先添加
方案2:源端SQL预处理关联逻辑
- 直接修改SQL Server源数据集的查询语句,把关联逻辑嵌入到源查询中,示例SQL:
SELECT 主表.*, 关联表.需要的字段 FROM 主表 INNER JOIN 关联表 ON 主表.关联键 = 关联表.关联键 - 处理后的源数据会直接包含关联后的字段,后续在Sink映射时直接将该字段映射到新增列即可,全程不需要额外存储或Data Flows。
注意事项
- 若处理批量数据,优先用源端JOIN方式,比Lookup活动的性能更高。
- 复制活动的动态表达式支持直接引用上游活动的输出,完全能满足你的关联需求,无需依赖Blob Storage。
内容的提问来源于stack exchange,提问作者MEGHNA GAIROLA
相关产品推荐
相关产品推荐

