如何通过AWS S3 CLI按修改日期筛选复制S3指定日期文件

你当前使用的全量下载命令aws s3 cp s3://database2 .不支持原生按修改时间过滤，要实现仅下载2022年6月24日修改过的文件，无需下载整个数据库，组合s3api元数据查询和cp命令即可实现。

可直接使用的命令 #

将命令参数匹配你的实际存储桶配置即可运行：

aws s3api list-objects --bucket "database2" --output text --query "Contents[?LastModified>='2022-06-24' && LastModified<'2022-06-25'].{Key: Key}" | xargs -I {} aws s3 cp s3://database2/{} .

关键提示：通用参考写法通常只加LastModified>='2022-06-24'条件，会把2022年6月24日及之后所有修改的文件全部下载，不符合仅下载当天修改文件的需求，必须补充LastModified<'2022-06-25'的上限条件。S3返回的LastModified字段为UTC时间，筛选时直接使用ISO标准日期格式字符串即可正常匹配。

命令执行逻辑 #

• 第一部分调用s3api list-objects拉取存储桶内的对象元数据，通过--query参数内置的JMESPath语法直接过滤出修改时间符合要求的对象，仅返回对应文件的存储路径（Key），不会拉取文件实体内容，无多余流量开销
• 第二部分通过xargs遍历所有筛选出的文件路径，逐个调用aws s3 cp将目标文件下载到本地当前目录

如果存储桶内文件总数超过1000，list-objects接口默认分页返回会导致漏查，替换为list-objects-v2命令即可自动处理分页、拉取全量对象元数据完成筛选。

内容的提问来源于stack exchange，提问作者dasmehdix