如何清理S3中的悬空文件？解决上传中断引发的孤儿文件问题

针对你遇到的用户上传文件后放弃流程导致S3出现孤儿文件的问题，这里提供两种核心解决思路：

一、即时清理（针对主动取消场景） #

• 绑定模态框关闭/取消事件：用户上传文件成功后，把该文件的S3存储键（Key）临时存在前端（比如内存、sessionStorage）。当用户点击取消按钮或关闭模态框时，立刻调用S3的DeleteObject接口删除对应文件。
• 会话级临时追踪：如果是多步骤上传流程，可以在后端给每个上传会话生成唯一标识，上传文件时关联这个标识，用户放弃流程时，通过会话标识找到对应的S3文件并删除。

二、定期兜底清理（覆盖被动中断场景） #

如果用户直接关闭浏览器、网络中断等情况没法触发即时删除，就需要定期清理机制：

• 数据库对比法：
  1. 定期（比如每日凌晨）遍历S3存储桶内的文件，提取每个文件的URL或Key。
  2. 批量查询业务数据库，检查这些文件的URL是否存在（已被使用的文件URL会存在库中）。
  3. 对数据库中不存在的文件执行删除操作。
  4. 优化技巧：给上传的文件添加x-upload-time自定义元数据，只清理最近7天内的文件，减少遍历和查询的工作量。
• S3生命周期规则+标签：
  1. 上传文件时，给未完成流程的文件打上标签process_status: pending。
  2. 用户完成所有流程后，调用S3接口把标签更新为process_status: completed。
  3. 在S3控制台配置生命周期规则：自动删除所有带有process_status: pending且创建时间超过24小时的文件。这种方式完全依托S3原生能力，不用自己写遍历逻辑。

注意事项 #

• 确保删除操作的幂等性，避免重复删除引发报错。
• 怕误删的话，可以先把孤儿文件移动到备份存储桶，保留3-7天后再彻底删除。
• 执行清理任务的IAM角色需要拥有S3的ListBucket、DeleteObject权限，以及数据库的查询权限。

内容的提问来源于stack exchange，提问作者Nemin