RDS导出快照到S3时对象前缀新增/1/层级的原因是什么

新增层级的来源 #

表名和分片文件之间多出来的/1/是RDS快照导出服务的输出格式版本标识目录，目录名的数字对应导出任务使用的Schema版本，当前正式生效的第一个带版本隔离的导出格式版本号就是1，因此会固定生成这层目录。

触发路径结构变化的具体原因 #

• 你之前使用的无版本号路径是RDS快照导出功能上线初期的v0版输出结构，当时功能未做版本隔离设计，分片文件直接放在表名目录下。
• 2024年上半年AWS对所有区域的RDS快照导出后端做了滚动升级，升级完成后所有新发起的导出任务默认采用v1版输出规范，自动增加版本号层级，为后续导出格式迭代、多版本兼容做预留。
• 该变更属于服务端静默升级，没有针对存量自动任务做单独通知，你的每日定时任务是在服务升级完成后新触发的，会自动套用新的路径规则，和你侧的任务配置变动没有关系。

适配建议 #

如果下游有Athena表、Spark作业或者其他ETL任务绑定了旧路径，不要硬编码写死/1/层级，直接把路径匹配规则改成通配形式my-bucket/my-prefix/my-table/*/part-*即可，后续就算导出格式迭代到更高版本，也不需要再调整路径规则。

内容的提问来源于stack exchange，提问作者Agni