如何阻止GCP CloudSQL MySQL的删除/截断操作经Datastream同步至BigQuery

1. Datastream或BigQuery的原生配置方案 #

Datastream本身没有直接忽略DELETE/TRUNCATE操作的开关，但可以结合BigQuery的CDC特性实现需求：

• 保持Datastream默认的合并（Merge）模式同步，此时BigQuery会生成包含所有变更类型的CDC表（带_metadata字段，包含操作类型op）。
• 基于该CDC表创建物化视图，通过过滤条件WHERE _metadata.op != 'DELETE'排除删除操作，同时利用主键字段（如id）结合MAX(_metadata.timestamp)保留最新的记录版本。
• 将业务查询指向这个物化视图，既避免了APPEND-ONLY模式的数据冗余，又能自动忽略源库的删除操作。

2. Dataflow管道过滤方案 #

可以通过低代码的Dataflow模板实现变更过滤：

• 配置Datastream将变更数据输出到Cloud Storage或Pub/Sub（而非直接写入BigQuery）。
• 使用Google提供的CDC to BigQuery Dataflow模板，在模板配置中添加自定义过滤逻辑：丢弃op字段为DELETE或TRUNCATE的记录。
• 处理后的数据流以合并模式写入BigQuery目标表，确保仅保留最新的INSERT/UPDATE数据，无需复杂的代码开发，维护成本低且可横向扩展。

3. 其他Google Cloud原生低代码方案 #

• Cloud Data Fusion：通过可视化界面搭建CDC管道，集成Datastream作为数据源，拖拽添加"过滤"组件，直接筛选掉操作类型为DELETE/TRUNCATE的记录，全程无需编写代码，适合低维护需求。
• BigQuery视图层过滤：如果不想修改同步管道，可在BigQuery目标表之上创建标准视图，通过WHERE _metadata.op != 'DELETE'过滤删除操作，但这种方式仅适用于查询时过滤，目标表本身仍会被删除操作影响，不如物化视图或Dataflow方案彻底。

内容的提问来源于stack exchange，提问作者Ashwini Kumar