aws-cli s3 list-objects结合max-items与LastModified查询返回None的解决办法

你的推测完全正确：AWS CLI的--max-items参数是先让S3 API返回指定数量的对象，再对这些对象应用--query过滤逻辑。如果返回的前10个对象都不符合LastModified>='$TODAY'的条件，自然会得到None的结果。

要实现先过滤符合条件的对象，再取前10个的需求，有以下几种可行方案：

方案1：用--query的切片语法实现先过滤再限制数量 #

推荐使用list-objects-v2（官方推荐的新版接口），通过--query的内置切片功能，先筛选出当天上传的对象，再取前10个的Key：

# 先生成符合S3格式的当天起始时间（UTC时区）
TODAY=$(date -u +"%Y-%m-%dT00:00:00Z")
# 执行查询
aws s3api list-objects-v2 --bucket my-bucket --query "Contents[?LastModified>='$TODAY'].Key | [0:10]"

如果需要按上传时间从新到旧排序后取前10，可以调整--query逻辑：

aws s3api list-objects-v2 --bucket my-bucket --query "Contents[?LastModified>='$TODAY'] | sort_by(@, &LastModified)[::-1][0:10].Key"

这里sort_by(@, &LastModified)[::-1]是将过滤后的对象按LastModified降序排列，再通过[0:10]取前10个。

方案2：结合jq工具处理（适合复杂过滤场景） #

如果需要更灵活的过滤逻辑，可以用jq配合管道实现先过滤再取前10：

TODAY=$(date -u +"%Y-%m-%dT00:00:00Z")
aws s3api list-objects-v2 --bucket my-bucket | jq -r ".Contents[] | select(.LastModified > \"$TODAY\") | .Key" | head -n 10

注意事项 #

• 确保$TODAY的格式与S3返回的LastModified格式完全一致（ISO 8601 UTC格式，如2024-05-20T00:00:00Z），否则过滤条件会失效。
• 如果存储桶内对象数量极大，方案1可能会因为返回全量对象影响性能，此时可以考虑结合--sort-by和--max-items先获取最新的一批对象再过滤，但这种方式需要确保最新的这批对象中包含当天的内容：

  aws s3api list-objects-v2 --bucket my-bucket --sort-by LastModified --max-items 100 --query "Contents[?LastModified>='$TODAY'].Key"
  

  这里先获取最新的100个对象，再从中过滤当天的，平衡性能和准确性。

内容的提问来源于stack exchange，提问作者xdev