基于Datastream同步BigQuery表创建物化视图时遇CDC未应用Upsert数据报错

错误原因 #

该报错是因为通过Datastream同步的PostgreSQL CDC Upsert变更尚未完全落地到BigQuery基表，或者基表仍有未处理的CDC变更队列，此时创建物化视图会触发BigQuery的数据一致性校验失败。

解决步骤 #

• 等待CDC变更完全同步：
  查看Datastream任务控制台的同步进度，确认所有pending的Upsert任务已完成；同时检查BigQuery基表的变更历史，确保最近的CDC变更都已应用。
• 手动触发CDC数据合并：
  如果等待后问题仍存在，可手动合并未处理的CDC数据（需根据实际表结构调整SQL）：

  MERGE INTO your_base_table target
  USING (
    SELECT * FROM your_base_table
    WHERE _metadata.cdc_event_type IN ('UPSERT', 'UPDATE')
    AND _metadata.timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)
  ) source
  ON target.id = source.id
  WHEN MATCHED THEN UPDATE SET target.* = source.*
  WHEN NOT MATCHED THEN INSERT VALUES (source.*);
  

• 避开同步高峰创建物化视图：
  选择业务低峰期执行创建操作，此时CDC变更量小，能降低未处理变更存在的概率。
• 调整Datastream同步模式：
  若允许临时中断实时同步，可切换为批量同步模式，完成一次全量同步后创建物化视图，之后再切回实时同步。
• 校验基表数据一致性：
  查询基表的Datastream元数据字段（如_metadata），确认所有CDC事件的时间戳均早于当前时间，且无未提交的事务记录：

  SELECT COUNT(*)
  FROM your_base_table
  WHERE _metadata.cdc_event_type IS NOT NULL
  AND _metadata.timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 5 MINUTE);
  

  若返回结果为0，说明近期无未处理的CDC变更。

内容的提问来源于stack exchange，提问作者codechef