如何在AWS DMS全量加载场景下实现S3按日期分区存储

你之前的理解是正确的，DMS官方自带的S3日期分区功能仅支持包含CDC的任务，纯全量加载场景下该特性依赖CDC事务时间戳生成目录，没有对应时间戳字段因此无法直接使用。你可以通过以下两种DMS原生能力实现需求，无需额外引入Lambda等组件：

• 方案一：调度时动态指定S3目标端点的BucketFolder参数
  由于你的全量任务是每日定时触发的，你可以在调度逻辑（如EventBridge联动Step Functions）启动DMS任务时，根据触发时间动态生成当日的日期路径，作为任务S3配置的BucketFolder参数值。比如当日触发时传入参数BucketFolder = '2024/05/20/13/'，DMS全量加载生成的文件会自动写入到该前缀下，最终完整路径为${BucketFolder}${schema_name}/${table_name}/LOAD00000001.csv，仅需调整前缀的拼接顺序即可匹配你需要的目录结构。
• 方案二：表映射规则新增快照日期列+按列分区
  你可以在DMS任务的表映射配置中添加转换规则，为所有同步的表新增常量类型的年、月、日、时快照字段，字段值通过任务参数动态传入当前触发时间的对应值，之后在S3目标端点的配置中开启partitionBy功能，指定按新增的年、月、日、时字段依次分区，DMS会自动生成分层的日期目录结构存储全量加载文件。

内容的提问来源于stack exchange，提问作者Reynold Rogers