如何用AWS DMS将多SQL源迁移至同一S3桶并区分来源？

一、在S3中区分来自数据库A、B、C的文件 #

你可以通过以下两种核心方式实现数据区分，适配你的多源同步场景：

1. 配置任务级别的S3路径前缀 #

为每个对应源库（A/B/C）的DMS任务设置独立的S3前缀：

• 针对数据库A的任务，在S3目标端点配置中，将Prefix参数设为data/source_db_a/
• 数据库B的任务前缀设为data/source_db_b/
• 数据库C的任务前缀设为data/source_db_c/
  同步完成后，不同源库的数据会自动存储到S3桶的对应路径下，即使所有表都在public schema下，路径层级也能清晰区分来源。

2. 自定义S3文件名格式 #

修改DMS S3目标端点的Filename format参数，嵌入源库标识或任务ID：

• 默认格式示例：${schema_name}_${table_name}_${full_load_start_time}_${file_id}.csv
• 自定义格式示例（加入任务ID）：${task_id}_${schema_name}_${table_name}_${full_load_start_time}_${file_id}.csv
• 或直接硬编码源库标识：db_a_${schema_name}_${table_name}_${full_load_start_time}_${file_id}.csv
  这样每个数据文件的文件名会包含明确的来源标识，即使在同一路径下也能区分不同源库的数据。

二、将任务标识符作为元数据包含到同步数据中 #

完全可以实现，提供两种方案：

1. 通过DMS转换规则添加自定义字段 #

在每个DMS任务的转换规则中添加Add column规则：

• 新增字段名：比如dms_task_id或source_database
• 字段值：设置为当前任务的ID（或固定的源库标识，如db_a）
  该规则会对全量加载和CDC同步的所有数据生效，每条记录都会带上这个自定义元数据字段，方便后续数据分析时直接识别来源。

2. 为S3对象添加自定义元数据 #

如果不想修改数据本身，可以通过Lambda触发实现：

1. 在S3桶上配置事件通知，当DMS上传新文件时触发Lambda函数
2. 在Lambda函数中，为对应的S3对象添加自定义元数据（如x-amz-meta-dms-task-id），值为触发该文件上传的DMS任务ID
   这种方式不会修改数据内容，仅在S3对象的元数据层面添加标识，适合需要保留原始数据结构的场景。

关于AWS文档提示的说明 #

你提到的文档场景是同一源表通过多个任务同步至同一S3桶，会导致文件重叠；而你的场景是多不同源库同步至同一桶，只要通过上述前缀、文件名或元数据配置，完全可以避免文件冲突，无需拆分到不同S3桶。

内容的提问来源于stack exchange，提问作者Jorge Cespedes