AWS S3 Last Modified Date属性实际含义及定时拉取文件的疑问

核心结论 #

S3对象的Last Modified属性完全以上传（或覆盖）操作完成、对象成功存入S3并对外可见的时间为准，和上传开始时间无关。

具体机制 #

• 单个文件上传：只有文件完整上传完毕、S3确认接收并存储完成后，才会生成Last Modified时间戳。若上传中途失败（如网络中断），该对象不会出现在存储桶中，也不会产生有效的Last Modified记录。
• 分块上传：只有所有分块上传完成并调用完成分块上传的接口后，S3才会合并对象并设置Last Modified时间，该时间为分块上传完成的节点，而非第一个分块的上传开始时间。
• 覆盖已有对象：Last Modified会更新为覆盖操作完成的时间，同样以操作完成节点为准。

定时拉取场景的适配说明 #

针对你每天上午8:00拉取前一天同一时间以来文件的需求，不会出现跨时段上传的遗漏问题：

• 若文件在8:00前开始上传、8:00后完成，它的Last Modified会是8:00之后的时间，会被次日的拉取任务捕获。
• 若文件在8:00前完成上传，Last Modified会落在前一天8:00至当天8:00的区间内，当天的拉取任务即可正常获取。

内容的提问来源于stack exchange，提问作者scienceseba