Azure Data Factory数据流：订单行删除操作失效的解决方案咨询

问题根源 #

你当前的Exists匹配条件flatten2@products_sku == source2@products_sku && checksum@sha1 == source2@sha1只能匹配源端和Sink端同时存在的订单行。当订单移除某个产品时，源端不再有该行数据，导致无法触发对Sink端对应行的匹配，自然无法生成Delete操作。

可行解决方案 #

方案1：订单维度全量对比（适合小数据量订单）

• 先拉取源端当前订单的完整行数据，按order_id分组，记录每个订单下所有有效的(product_sku, sha1)组合
• 查询Sink端该订单的所有现有行，对比筛选出「Sink端存在但源端已缺失」的行，这些就是需要删除的目标
• 单独为这些行生成Delete操作，和Upsert/Insert操作一起批量提交到Sink端

方案2：调整Exists匹配逻辑到订单维度

• 修改Exists步骤的匹配规则，先通过order_id匹配到同一个订单的所有行，而非仅匹配sku+sha1
• 拿到Sink端该订单的全量行后，和源端同订单行做逐行对比：
  • 源端存在、Sink端存在且sha1不一致 → 标记为Upsert
  • 源端存在、Sink端不存在 → 标记为Insert
  • 源端不存在、Sink端存在 → 标记为Delete
• 注意：需确保同步流程支持同一订单多行的批量对比，避免遗漏数据

方案3：添加逻辑主键（推荐长期方案）

• 基于order_id + product_sku创建逻辑主键（默认同一个订单下同一sku应唯一，若业务允许重复可追加创建时间等字段）
• 调整Exists步骤的匹配条件为order_id == source2@order_id && product_sku == source2@product_sku
• 当源端移除某个sku的行时，Sink端对应的行能被精准匹配到，直接标记为Delete即可
• 这种方式不仅解决删除问题，还能简化匹配逻辑，避免因quantity变化导致sha1变更而无法匹配历史行的隐患

注意事项 #

• 方案1/2需注意并发更新场景，建议通过事务保证同步操作的原子性，避免数据不一致
• 若业务允许同一订单下同一sku存在多行，方案3的逻辑主键需调整为order_id + product_sku + 唯一标识字段（如创建时间戳）

内容的提问来源于stack exchange，提问作者Dan