AWS DMS同步SSMS至S3时时间戳重复问题及解决方案咨询

删除S3重复时间戳记录后的同步情况 #

• 源端SSMS里还存在的记录，光删S3里的对应文件，DMS的持续同步（CDC模式）不会自动重新同步这些数据——CDC只抓源端的新增/更新操作，不会主动核对S3的数据完整性。
• 要让DMS重新同步这些数据，得手动触发全量同步或者针对对应表做重新加载任务，光删S3文件没用。

根本修复方案（基于DMS时间戳精度支持0.1秒间隔区分） #

1. 调整DMS时间戳生成精度 #

• 检查S3目标端配置里的TimestampColumnName参数，确保开启微秒级时间戳生成。默认可能是秒级，导致短时间内的操作共用同一时间戳，改成微秒级就能区分0.1秒间隔的操作。
• 可以自定义同步时间戳字段（比如dms_sync_ts），让DMS生成带微秒的时间戳，每条记录的时间戳就会唯一。

2. 给源端加变更标识字段 #

• 虽然源端没原生变更时间戳，但可以在SSMS里加触发器：在INSERT/UPDATE时自动生成一个包含当前微秒级时间+主键的唯一标识字段（比如change_id）。
• 把这个字段加入DMS同步任务，S3端的记录直接用change_id判断最新版本，不用依赖DMS时间戳。

3. 缩小DMS批处理大小 #

• 短时间内大量操作被打包成同一批次同步，会导致同批次记录时间戳相同。减小任务的BatchSize参数（在CDC任务设置里调），让每个批次的操作更少，避免多条记录共用时间戳。

4. 启用S3端主键合并逻辑 #

• 在S3目标端配置里开主键合并：源端更新时，DMS会自动覆盖S3里同主键的旧记录，而不是生成多条。这样S3里始终只留最新版本，不用纠结时间戳的问题。

内容的提问来源于stack exchange，提问作者stevenr