如何通过Zero-ETL将Aurora数据迁移至Redshift可写数据库并实现近实时同步？

1. 增量物化视图+跨库授权+智能定时刷新 #

• 在只读同步库上创建增量式物化视图，使用REFRESH MATERIALIZED VIEW INCREMENTAL语法仅同步上次刷新后的变更数据，避免全量扫描带来的资源浪费。
• 通过Redshift跨数据库授权，为全权限库的用户开放只读库物化视图的访问权限，或直接在全权限库中创建指向该物化视图的外部表，实现数据复用。
• 搭配Redshift定时任务，针对不同表的变更频率设置差异化刷新间隔：高频变更表设1-5分钟，低频表设15-30分钟，无需一刀切每分钟刷新。

2. Aurora CDC + Redshift流式Ingestion #

• 开启Aurora的变更数据捕获（CDC），将实时变更日志推送到Kinesis Data Streams。
• 利用Redshift的Streaming Ingestion直接从Kinesis拉取数据，写入指定的全权限库表。这种方式延迟可控制在秒级，完全跳过Zero-ETL的只读层限制，直接掌控数据写入目标。

3. 只读库触发器+异步批量同步 #

• 在只读同步库的目标表上添加触发器，将每次变更记录写入专门的变更日志表。
• 编写Redshift存储过程，结合定时任务批量将变更日志表的数据同步到全权限库的对应表。批量处理能减少频繁刷新的开销，延迟可控制在分钟级。

4. 调整Zero-ETL目标配置 #

• 检查AWS Zero-ETL管道的配置，确认是否初始配置时误选了只读库作为目标。若权限允许，直接修改管道的目标参数，将数据同步到所需的全权限Redshift库，这是最直接的解决办法。

内容的提问来源于stack exchange，提问作者Alexander Hernandez