如何在Azure Data Factory中从SAP CDC链接服务动态选择指定列？

核心思路 #

要实现仅加载元数据中KeyColumns指定的列，需明确列筛选配置和增量加载键列配置是两个独立设置：前者控制提取哪些列，后者用于判断增量数据，不要混淆二者的作用。

具体步骤 #

1. 统一KeyColumns格式
   确保Lookup活动返回的KeyColumns为逗号分隔的字符串（如"EMP_ID,EMP_NAME"）。如果元数据中KeyColumns是数组类型，在管道层面用join函数转换：

   @join(activity('Lookup_SAP_Metadata').output.firstRow.KeyColumns, ',')
   

2. 数据流中动态指定提取列

   • 在数据流内定义一个字符串型参数（例如p_TargetColumns），用于接收管道传入的KeyColumns字符串。
   • 打开SAP源配置面板，切换到「列」选项卡，选择「使用动态内容」，直接引用该参数：@p_TargetColumns。
   • 若使用ODP源，同样在源的列选择配置中，通过动态内容传入处理后的KeyColumns字符串——SAP ODP源支持用逗号分隔的列名列表指定要提取的字段。

3. 管道传参调用数据流
   在管道的「执行数据流」活动中，将处理后的KeyColumns字符串赋值给数据流的p_TargetColumns参数，实现每张表动态加载指定列。

4. 规避增量参数混淆问题
   不要将KeyColumns传入增量加载的「键列」参数——这个参数的作用是识别新增/变更数据（比如基于主键或时间戳），和列筛选完全无关，之前的全量加载问题正是因为混淆了这两个配置的用途。

验证建议 #

先选取单张表测试，查看数据流预览结果是否仅包含KeyColumns指定的列，确认生效后再批量运行2000张表的管道。

内容的提问来源于stack exchange，提问作者givnv