如何针对百万级客户记录实现Azure B2C与Azure SQL数据库的对账？

一、前期准备 #

• 确定核心比对字段：以Azure B2C的objectId作为用户唯一标识，关联SQL数据库中对应的用户ID；同时选定需校验的关键属性，如邮箱、手机号、用户状态（启用/禁用）、最后修改时间等。
• 制定数据抽取策略：
  • 增量抽取：基于lastModifiedDateTime（B2C）和SQL中的用户更新时间字段，每次仅拉取上次对账后发生变更的记录，降低数据量。
  • 全量抽取：每月执行一次全量数据拉取，覆盖增量抽取可能遗漏的边缘场景（如无时间戳的批量更新）。
• 临时存储选型：使用Azure Blob存储或SQL临时表存放抽取的待比对数据，避免直接操作生产库引发性能问题。

二、差异检测逻辑 #

针对100万级数据，优先利用数据库/API的原生能力提升效率：

1. 单边存在用户检测
   • 将B2C的objectId集合与SQL的用户ID集合做交集对比，筛选出仅存在于某一端的用户ID；
   • 实现方式：SQL侧用LEFT JOIN/RIGHT JOIN关联B2C抽取的ID列表，B2C侧用Graph API的$filter排除已存在于SQL的ID。
2. 属性不一致检测
   • 对两边共有的用户，将关键属性拼接后生成哈希值（如MD5/SHA256），通过对比哈希值快速定位属性差异记录；
   • 对哈希值不一致的记录，再逐条比对具体属性，明确差异点（如邮箱变更、状态不同）。

三、差异修正机制 #

需先明确数据权威源规则（核心前提）：

• 若B2C为身份权威源：用户状态、基础身份属性（邮箱、手机号）以B2C为准，SQL同步B2C的变更；
• 若SQL为业务权威源：业务属性（如会员等级、订单关联信息）以SQL为准，同步更新至B2C扩展属性。

自动修正场景 #

• B2C新增用户：自动调用SQL插入语句，同步用户基础信息；
• B2C删除/禁用用户：自动更新SQL中对应用户的状态标记；
• SQL中业务属性更新：自动调用Graph API更新B2C用户的扩展属性。

人工审核场景 #

• 两边属性冲突且无明确权威规则（如双方邮箱均不同且无法溯源）；
• 批量异常差异（如单次对账发现超过1000条单边用户）；
• 生成差异明细报告，推送至运维人员审核后手动修正。

四、自动化与运维保障 #

• 定时调度：用Azure Logic Apps或Azure DevOps Pipeline设置调度，增量对账每日执行（低峰期），全量对账每月执行；
• 日志与告警：记录每次对账的差异数量、修正结果，当差异量超过预设阈值（如>100条）时，触发邮件/Teams告警；
• 性能优化：
  • B2C侧使用Graph API的增量查询（$delta）替代分页拉取，提升数据抽取效率；
  • SQL侧为用户ID、更新时间字段添加索引，加快关联查询速度；
  • 修正操作保证幂等性，避免重复执行引发数据异常。

内容的提问来源于stack exchange，提问作者nullmicgo