如何使用AWS DMS实现跨账号S3桶的自动实时同步？

可以用AWS DMS实现跨账号S3桶的自动同步，但无法做到真正的实时同步——DMS对S3源的处理是基于定时轮询或批量扫描，而非实时捕获对象的新增/变更动作。以下是具体配置步骤和实时同步的替代方案：

一、DMS自动同步配置步骤 #

1. 配置跨账号权限 #

• 源账号S3桶：添加桶策略，允许DMS服务角色执行s3:GetObject、s3:ListBucket操作
• 目标账号S3桶：添加桶策略，允许DMS服务角色执行s3:PutObject、s3:CreateBucket（若需自动创建路径）等操作
• 权限配置示例（源桶策略）：

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Principal": {
          "AWS": "arn:aws:iam::[DMS账号ID]:role/dms-access-role"
        },
        "Action": ["s3:GetObject", "s3:ListBucket"],
        "Resource": [
          "arn:aws:s3:::[源桶名称]",
          "arn:aws:s3:::[源桶名称]/*"
        ]
      }
    ]
  }
  

2. 创建DMS迁移任务 #

• 源端点：选择S3类型，填写源桶名称、文件格式（如CSV、Parquet）、前缀/后缀过滤规则（可选）
• 目标端点：选择S3类型，填写目标桶名称、存储路径前缀、文件格式配置
• 任务配置：
  • 迁移模式选择「全量迁移+持续复制（CDC）」，但这里的CDC是定期轮询源桶的新增文件，轮询间隔可在任务设置中调整（最小间隔通常为几分钟）
  • 设置任务为自动启动，或通过CloudWatch Events配置定时触发任务运行

二、实时同步的替代方案 #

如果需要秒级延迟的实时同步，DMS并非最优选择，推荐以下两种方案：

• S3事件通知+Lambda：
  • 源桶配置事件通知，当对象新增/修改/删除时触发Lambda函数
  • Lambda函数编写逻辑，将对象跨账号复制到目标桶（需为Lambda角色配置源桶读取、目标桶写入的跨账号权限）
• AWS DataSync：
  • 专门用于跨存储服务的同步工具，支持S3跨账号同步
  • 可配置定时同步任务，或开启基于S3事件的实时同步模式，延迟更低

注意事项 #

• DMS的S3同步适合批量数据迁移或低频次同步场景（如小时级），实时性需求高的场景优先选Lambda或DataSync
• 跨账号操作时遵循最小权限原则，避免过度授权
• 配置完成后先进行小批量测试，验证权限和同步逻辑正确性

内容的提问来源于stack exchange，提问作者poopy butthole