如何在Amazon S3中统计追踪单个用户的存储使用量

你原本设想的MySQL存用户用量字段的思路本身是合理的，觉得效率低大概率是同步更新逻辑阻塞了主业务流程，以下是几种更优的落地方案，可根据你的业务场景选择：

• S3事件通知+异步队列更新方案（实时性要求高的场景首选）
  给S3存储桶配置事件触发规则，监听ObjectCreated（上传/覆盖文件）和ObjectRemoved（删除文件）两类事件，将事件推送到你后端的消息队列（也可以直接用AWS SQS）。独立启动消费进程，从事件中解析出文件大小、对应用户ID（建议提前将S3对象Key按用户维度分组，例如命名规则设为user/{userId}/photos/xxx.jpg，可直接从Key中提取用户ID，无需额外查库关联），再异步更新MySQL中对应用户的存储占用字段。
  该方案完全不阻塞用户上传/删除的主接口流程，性能损耗极低，搭配队列重试机制可避免偶发的更新失败。可定期（每周/每月）跑一次离线对账脚本，按用户维度遍历S3统计实际用量，和MySQL数值校准，解决极端事件丢失导致的数据偏差。

• S3 Inventory 离线统计方案（对实时性要求低的场景首选）
  开启S3的Inventory功能，按天/按小时导出全桶的对象清单，清单自带每个对象的Key、大小、最后修改时间等元数据。写定时任务每次拿到新清单后，按用户维度聚合统计总存储占用，批量更新MySQL的用户用量字段即可。
  该方案完全不侵入上传删除业务逻辑，代码量极少，统计准确率高，适合用户规模大、只需要定期结算用量不需要给用户实时展示的场景，缺点是数据有固定延迟，无法实时同步。

• S3标签+成本分配标签方案（仅做内部成本分摊的场景首选）
  上传文件时给每个S3对象打上user_id标签，开启AWS的成本分配标签功能后，可以直接在AWS成本控制台按user_id维度拉取每个用户的S3存储用量和对应费用。
  该方案无需自己开发统计逻辑，完全依赖AWS原生能力，缺点是数据延迟最长可达24小时，不适合给前端用户展示实时用量的场景。

内容的提问来源于stack exchange，提问作者Arcanus