如何使用aws s3 sync按指定日期阈值同步文件？

问题场景 #

我有一个存储数百GB文件、跨度数年的大型S3存储桶，需要仅同步2023年的文件到本地主机。尝试执行以下AWS CLI命令：

aws s3 sync <frombucket> . --query 'Contents[?LastModified>=2023-01-01][].{Key: Key}'

错误信息 #

执行后出现语法解析错误：

Bad value for --query Contents[?LastModified>=2023-01-01][].{Key: Key}: invalid token: Parse error at column 24, token "2023" (NUMBER), for expression:
"Contents[?LastModified>=2023-01-01][].{Key: Key}"

错误原因与修正语法 #

错误根源是JMESPath查询中日期字符串未加引号。在JMESPath语法里，字符串类型的值必须用引号包裹，修正后的命令如下：

aws s3 sync <frombucket> . --query "Contents[?LastModified>='2023-01-01'][].{Key: Key}"

重要提示 #

需要注意：aws s3 sync的--query参数仅用于过滤命令的输出内容，并不会实际限制同步的文件范围。如果要真正只同步2023年的文件，需采用以下两种方案：

方案1：先筛选文件再批量复制 #

通过aws s3 ls筛选出2023年的文件，再用aws s3 cp批量复制：

aws s3 ls <frombucket> --recursive | grep 2023 | awk '{print $4}' | xargs -I {} aws s3 cp s3://<frombucket>/{} ./{}

方案2：利用对象键前缀过滤（若文件名含日期） #

如果S3对象的键以年份作为前缀（如2023/xxx/file.txt），可直接用sync的--include/--exclude参数过滤：

aws s3 sync <frombucket> . --include "2023/**" --exclude "*"

内容的提问来源于stack exchange，提问作者Cerin