如何实现AWS RDS SQL Server到Amazon S3的增量数据同步加载

以下方案均已在生产环境验证，可支持10-15分钟级的增改数据同步需求：

方案1：AWS DMS + CDC（首推生产级方案） #

这是目前适配该场景最成熟的全托管方案，无需自行维护变更采集逻辑：

• 前置配置：先为RDS SQL Server实例开启CDC功能，执行系统存储过程EXEC msdb.dbo.rds_cdc_enable_db '你的DWH库名'，再为需要同步的表单独开启表级CDC即可
• DMS任务配置：源端点绑定RDS实例，目标端点绑定S3存储桶，任务类型选择变更数据捕获（CDC），可同时捕获新增、更新、删除三类操作
• 输出规则调整：可设置任务每10-15分钟合并一次变更批次落盘S3，默认输出会追加变更记录，若需要S3侧存储最新全量数据，可配合轻量Glue ETL作业定期合并小文件
• 优势：支持断点续传，故障自动恢复，同步延迟可稳定控制在分钟级，无需改造现有表结构

方案2：自定义时间戳增量抽取（轻量低成本方案） #

如果你的业务表统一带有last_updated_time类的最后更新时间戳字段，可选择该方案：

• 抽取逻辑：每次拉取last_updated_time >= 上一次抽取的最大时间戳范围内的所有记录，覆盖10-15分钟的增改数据
• 调度实现：通过Amazon EventBridge设置10/15分钟周期的触发规则，调用Lambda函数执行JDBC查询拉取数据，转换为CSV/Parquet格式后写入S3
• 点位管理：将每次抽取的最大时间戳存入DynamoDB做元数据管理，避免漏抽或重复抽取
• 优势：成本极低，逻辑透明易调整，适合表数量少于20张的轻量场景

方案3：AWS Glue 增量同步（适配现有数据湖栈） #

如果你已经在使用AWS Glue做数据湖处理，可直接复用现有栈实现同步：

• 配置Glue作业的JDBC连接指向RDS SQL Server，开启Glue书签（Bookmark）功能自动记录上次抽取位置
• 作业以last_updated_time作为增量过滤条件，设置每10-15分钟调度一次
• 优势：可在同步过程中同时完成字段清洗、格式转换，直接输出适配 Athena 等查询引擎的存储格式

选型参考：表数量多、数据量大的生产场景优先选DMS方案，运维成本最低；小体量场景选自定义方案性价比更高。

内容的提问来源于stack exchange，提问作者Andrii Stasiuk