DB2跨DBMS迁移时如何通过表级MD5哈希快速校验数据一致性

核心实现思路 #

• 单条记录哈希标准化
  先对单条记录的所有校验字段做统一格式化处理后生成单条哈希，需提前对齐源端、目标端的处理规则：
  • 所有校验字段按固定顺序拼接，拼接分隔符用不会出现在业务字段中的特殊字符（比如|^|）
  • NULL值统一转换为固定占位符（比如'__NULL_VAL__'），避免不同DBMS对NULL拼接的处理逻辑差异
  • 日期、时间、数值、字符串类型统一格式化规则，比如日期统一转YYYY-MM-DD HH24:MI:SS.FFF格式字符串，字符串统一转全小写/全大写
  • DB2侧单条哈希生成示例：SELECT HASH( CONCAT_WS('|^|', COALESCE(col1,'__NULL_VAL__'), COALESCE(CHAR(col2,'YYYY-MM-DD HH24:MI:SS.FFF'),'__NULL_VAL__'), ... ), 0) AS row_hash, 唯一主键 FROM 表名
• 整表聚合哈希生成
  解决DB2没有内置整表哈希函数的问题，通过排序后聚合的方式实现：
  1. 先将单条哈希结果按表的唯一主键升序排序，避免迁移后行序不同导致的哈希差异
  2. 小规模表可以直接将排序后的所有row_hash拼接为长字符串，再计算一次MD5得到整表校验值
  3. 超大规模表可以按主键范围分块计算，每个块生成一个块哈希，再将所有块哈希按块顺序拼接后计算总哈希，性能提升明显
  4. 支持自定义UDF的DB2版本可以直接开发聚合哈希UDF，输入为排序后的row_hash，直接输出整表哈希，性能最优

快速校验组合方案 #

• 日常预检用轻量统计校验：在现有count(*)、max()、min()基础上，增加分位值校验，对数值、日期字段取P10、P50、P90分位值比对，速度接近常规统计校验，异常识别率远高于基础统计项，可快速拦截绝大多数数据不一致问题
• 预检异常后触发全量哈希校验：只有轻量校验不通过的表才触发整表哈希校验，无需每次全量跑哈希，大幅降低整体校验耗时
• 哈希校验异常后再触发行级差分比对：定位到不一致的表之后，再用主键关联逐行比对，精准定位差异行

注意：所有校验逻辑的处理规则必须在源端、目标端完全对齐，否则会出现大量校验误报

内容的提问来源于stack exchange，提问作者cyberhiker