如何高效查找已启用版本控制的S3存储桶中至少被覆盖一次的文件？

当存储桶对象数量庞大时，逐个遍历显然效率低下，推荐以下几种高效方案：

方案一：使用S3 Inventory（对象清单） #

这是最适合大数据量存储桶的方案，S3会定期自动生成包含对象版本信息的报告，无需手动遍历：

• 登录AWS控制台，进入目标存储桶的「管理」标签页，找到「对象清单」并创建新清单。
• 配置时勾选「包含对象版本」，选择输出格式（推荐Parquet，后续分析更高效），指定输出存储桶路径。
• 等待S3生成清单（首次生成可能需要几小时，之后按配置周期更新），然后通过以下方式分析：
  • 本地分析：下载清单文件，用Pandas（Python）或命令行工具（如awk）统计每个对象键（Key）的版本数量，筛选出版本数大于1的键。
  • 云端分析：将清单输出存储桶与Athena关联，创建外部表后执行SQL查询：

    SELECT key, COUNT(*) AS version_count
    FROM your_inventory_table
    GROUP BY key
    HAVING version_count > 1;
    

方案二：使用AWS CLI结合命令行工具 #

如果需要快速临时查询（数据量相对没那么极端时），可以用CLI批量获取版本信息后统计：

• 执行以下命令获取所有对象版本并筛选出多版本的对象键：

  aws s3api list-object-versions --bucket your-bucket-name | jq '.Versions + .DeleteMarkers | group_by(.Key) | map(select(length>1) | .[0].Key)'
  

  注意：若对象数量极大，需处理分页（通过--starting-token参数循环调用），此方法效率低于S3 Inventory。

注意事项 #

• Delete Marker也算作版本的一种，若你只想统计实际内容修改的版本，在分析时需排除Delete Marker（可通过IsLatest字段或VersionId类型筛选）。
• S3 Inventory是免费的（仅收取存储清单文件的S3费用），适合长期使用。

内容的提问来源于stack exchange，提问作者neubert