无VPN环境下AWS Aurora PostgreSQL到Google BigQuery增量数据同步方案咨询

一、基于S3到BigQuery的直接实现方案 #

你已经通过AWS DMS将CDC增量数据导出到S3，以下是从S3导入BigQuery的可行方式：

1. BigQuery外部表+定时MERGE同步 #

• 在BigQuery中创建外部表，关联S3存储桶中的CDC数据文件（优先选择DMS导出的Parquet格式，比CSV更高效）。配置时通过AWS IAM凭证或S3桶策略限制BigQuery服务账号访问，无需开放S3公网全权限。
• 编写BigQuery MERGE 语句处理CDC变更记录：根据DMS生成的操作类型字段（如Op字段，I=插入、U=更新、D=删除），对目标BigQuery表执行对应操作。
• 通过BigQuery的定时查询功能（或Cloud Scheduler触发），每日自动执行MERGE逻辑，完成增量数据同步。

2. GCS Transfer Service中转后加载 #

• 使用Google Cloud Storage Transfer Service，配置定时任务每日同步S3中的增量CDC文件到GCS。此服务支持直接通过AWS密钥访问S3，且可设置仅同步新增文件（基于文件创建时间或前缀）。
• 从GCS到BigQuery可选择两种方式：
  • 配置BigQuery自动加载规则，当GCS指定路径有新文件时自动导入；
  • 用Dataflow作业处理CDC格式，将变更应用到目标表，适合复杂的字段转换或数据校验场景。

二、跳过S3的端到端CDC替代方案 #

如果不想经过S3中转，还有以下更直接的方案：

1. AWS DMS直接同步到BigQuery #

AWS DMS支持将Google BigQuery作为目标端点，无需VPN：

• 在DMS中创建BigQuery目标端点，配置Google服务账号密钥（需赋予BigQuery数据写入权限）。
• 利用DMS的CDC功能直接捕获Aurora PostgreSQL的增量变更，同步到BigQuery。安全层面可通过：
  • 限制DMS的出口IP到BigQuery的IP白名单；
  • 启用BigQuery的VPC Service Controls，确保数据传输在受控环境中进行。
• 此方案省去S3中转步骤，减少数据链路环节。

2. Debezium + Google Pub/Sub + Dataflow方案 #

• 在AWS内网环境（如EC2、EKS）部署Debezium连接器，通过内网连接Aurora PostgreSQL捕获CDC数据，无需暴露数据库到公网。
• 将Debezium捕获的变更事件发送到Google Pub/Sub（加密传输）。
• 用Google Dataflow创建流式作业，订阅Pub/Sub主题，解析CDC事件后写入BigQuery，支持实时或准实时同步，适合对同步延迟要求较高的场景。

内容的提问来源于stack exchange，提问作者Björn Eickvonder