如何从S3桶的assets前缀检索指定日期的所有最新删除标记版本

问题根因 #

进程被强制终止是内存不足（OOM）导致的：当你查询assets/前缀时，S3返回的全量对象版本、删除标记数据量远大于单对象查询的结果，AWS CLI默认会把所有返回数据加载到内存后再执行你指定的JMESPath过滤规则，数据量超出终端可用内存时就会被系统kill。

解决方案 #

• 优先添加分页参数降低单批次内存占用：在原命令中添加--page-size 1000参数，调整后命令如下：

aws s3api list-object-versions --bucket bucket_name --prefix assets/ --page-size 1000 --query 'DeleteMarkers[?IsLatest==`true` && LastModified>=`2021-10-1T08:00:00` && LastModified<=`2021-11-31T08:00:00`].[Key, VersionId]'

该参数仅控制单次API调用拉取的条目数，不会影响最终返回的全量结果，只是拆分拉取过程降低内存占用，1000是通用适配值，如果依然内存不足可以调整到更小的数值（比如500、100）。

• 如果调整分页参数后仍有问题，可以用分批遍历的方式处理：添加--max-items参数限制单次命令返回的条目数，配合--starting-token循环拉取剩余数据，每次拉取的结果单独处理后再拉取下一批，完全避免全量数据堆积在内存。
• 如果你需要频繁做这类范围查询，或者桶内总版本数超过百万级，建议开启S3 Inventory功能，S3会按你配置的周期自动生成指定前缀的对象清单，包含删除标记、版本ID、最后修改时间等所有需要的字段，直接查询生成的清单文件比反复调用list-object-versionsAPI效率高得多，也不会有内存问题。
• 额外优化建议：先升级AWS CLI到最新官方版本，旧版本CLI存在已知的内存管理缺陷，升级后也能大幅缓解大结果集查询的内存占用问题。

内容的提问来源于stack exchange，提问作者Eng Mhmd Mhmoud