Oracle及其他关系型数据库活跃库数据Ingestion对账功能咨询

一、用Oracle闪回功能锁定快照状态 #

活跃库实时新增数据的核心问题是要拿到导入启动时刻的数据库快照，Oracle的闪回查询可直接解决这个问题：

• 导入前先记录当前时间戳或SCN（系统变更号）：

  -- 记录当前时间戳
  SELECT SYSTIMESTAMP FROM DUAL;
  -- 或者记录当前SCN
  SELECT DBMS_FLASHBACK.GET_SYSTEM_CHANGE_NUMBER() FROM DUAL;
  

• 对账时直接查询该时间点的表状态，统计记录数和整体哈希值，完全不受后续新增数据干扰：

  -- 基于时间戳的闪回统计
  SELECT COUNT(*), SUM(ORA_HASH(*)) FROM your_table AS OF TIMESTAMP TO_TIMESTAMP('2024-05-20 10:00:00', 'YYYY-MM-DD HH24:MI:SS');
  -- 基于SCN的闪回统计
  SELECT COUNT(*), SUM(ORA_HASH(*)) FROM your_table AS OF SCN 123456789;
  

• 注意：需提前确保数据库开启闪回功能，UNDO_RETENTION参数设置要覆盖全量导入时长，保证快照数据不被覆盖。

二、用时间戳/分区做同步边界 #

如果表本身带有创建时间戳字段（比如create_time），可以直接用这个字段做同步边界：

• 导入前先查询当前最大时间戳：SELECT MAX(create_time) FROM your_table;
• 全量同步时只取create_time <= 该时间戳的数据，对账时分别统计Oracle中该范围内的记录数，和GCS的导入结果比对即可。
• 若无时间戳字段，可按代理键分段（比如每100万条为一组），同步完一组就校验一组，避免最后一次性处理海量数据。

三、批量哈希校验替代逐行代理键核对 #

针对数百TB的大表，逐行校验代理键效率极低，可采用批量哈希汇总的方式：

• 在Oracle中按分区、代理键范围分段，计算每个分段的记录数和整行哈希值总和：

  SELECT 
    FLOOR(id/1000000) AS segment,
    COUNT(*) AS cnt,
    SUM(ORA_HASH(*)) AS hash_sum
  FROM your_table
  WHERE create_time <= :sync_end_time
  GROUP BY FLOOR(id/1000000);
  

• 在GCS中用Dataflow或批量处理脚本，对对应分段的数据做同样的哈希计算和计数；
• 比对各分段的统计值，仅对不一致的分段做细查，大幅节省校验资源和时间。

四、增量同步补全后续数据 #

全量同步完成后，用Oracle的CDC工具（比如GoldenGate、LogMiner）捕获后续的新增/变更数据同步到GCS。后续对账仅需校验增量数据，无需重复全量校验，同时保证最终的数据一致性。

内容的提问来源于stack exchange，提问作者nlbrown