如何借助Synapse/ADF CDC在源端过滤SAP S/4HANA数据？

一、源端数据过滤的可行方案 #

1. SAP侧预过滤（最合规高效） #

在S/4HANA系统中为每个需要同步的SAP对象创建带过滤逻辑的CDS视图，把合规要求的筛选条件直接嵌入视图定义里。比如针对物料主数据，创建CDS视图时只包含特定工厂、特定状态的物料。之后Synapse的SAP CDC连接器直接读取这个CDS视图，相当于在源端完成过滤，完全符合合规要求。
如果需要参数化，可以在CDS视图中定义输入参数（比如工厂代码、日期范围），然后在Synapse的SAP CDC数据集配置里通过动态内容传递参数值，适配不同对象的差异化需求。

2. 数据流动态表达式拼接筛选 #

虽然SAP CDC连接器不支持直接传入SQL查询，但可以结合JSON参数文件在数据流中动态生成筛选逻辑：

• 把JSON里每个对象的筛选条件写成符合Synapse数据流语法的表达式字符串（比如"CREATED_ON > toDate('2024-01-01') AND STATUS == 'ACTIVE'"）
• 在For Each循环中，读取当前对象的筛选表达式，直接赋值给数据流筛选转换的筛选条件（用@item().filter_expr引用JSON里的表达式内容）
• 注意：要确保JSON里的表达式严格遵循Synapse数据流的语法规则，比如日期函数用toDate()，字符串用双引号，比较运算符用==等。

3. 初始加载+增量CDC的组合处理 #

如果初始数据量不大，可以先通过SAP系统的查询工具（如SE16N、SQVI）导出符合过滤条件的初始数据集，导入到ADLS Gen2后，在Synapse中配置SAP CDC连接器的起始同步点（设置为初始数据的最新变更时间）。之后增量的CDC数据再通过数据流的动态筛选处理，避免全量同步不符合合规要求的历史数据。

二、复制数据活动无法选择SAP CDC数据集的原因 #

SAP CDC连接器是专门为Synapse数据流设计的增量同步组件，不支持在复制数据活动中使用。复制数据活动主要用于批量全量复制场景，不具备CDC变更捕获的能力，因此在复制活动的数据集选择列表中不会显示SAP CDC类型的数据集，这是产品设计的固有限制，并非配置错误。

内容的提问来源于stack exchange，提问作者supermtz