如何在MySQL到BigQuery的CDC复制中移除Datastream UUID列？

Datastream自动添加的_datastream_uuid列是支撑CDC变更追踪的核心元数据字段，直接删除会破坏CDC逻辑，因此推荐通过BigQuery视图层封装的方式实现需求——既保留底层CDC同步能力，又对外隐藏UUID列。以下是具体实现方案：

方案1：创建标准视图（轻量高效，推荐） #

1. 定位Datastream同步到BigQuery的目标表（通常命名为[源表名]_datastream或类似格式）。
2. 创建覆盖该表的视图，在SELECT语句中排除_datastream_uuid列，同时保留CDC所需的其他元数据列（如_datastream_record_status、_datastream_timestamp，用于识别新增/更新/删除操作）。
   示例SQL：

   CREATE OR REPLACE VIEW `你的项目ID.数据集ID.业务视图名` AS
   SELECT 
     -- 排除UUID列，保留所有业务列与CDC关键元数据
     * EXCEPT(_datastream_uuid),
     _datastream_record_status,
     _datastream_timestamp
   FROM `你的项目ID.数据集ID.Datastream同步目标表名`;
   

3. 后续业务查询直接使用该视图即可，底层同步表的CDC逻辑不受影响，Datastream仍会正常捕获MySQL的变更并同步。

方案2：使用物化视图（适合高性能查询场景） #

如果需要更高效的查询性能，可以创建物化视图，定期刷新同步底层CDC数据：

CREATE OR REPLACE MATERIALIZED VIEW `你的项目ID.数据集ID.物化视图名`
OPTIONS (
  refresh_interval_minutes = 5 -- 根据业务需求调整刷新频率
) AS
SELECT 
  * EXCEPT(_datastream_uuid),
  _datastream_record_status,
  _datastream_timestamp
FROM `你的项目ID.数据集ID.Datastream同步目标表名`;

注意事项 #

• 禁止直接删除或修改同步目标表中的_datastream_uuid列，这会导致Datastream无法完成CDC校验，同步任务可能中断或出现数据不一致。
• 若无需追踪变更类型，可在视图中仅暴露业务列，忽略_datastream_record_status等字段，但会丢失CDC变更溯源能力。

内容的提问来源于stack exchange，提问作者Deepak Singh Rajput