如何设计API实现客户端文件存储到AWS S3等第三方外部存储系统

两种方案的适用场景对比 #

没有绝对的最优方案，完全看你的业务实际情况选择：

方案1（客户端传后端，后端中转存云存储）适合以下场景： #

• 上传文件体积普遍偏小，比如仅头像、10MB以内的文档，不需要处理大文件上传需求
• 团队研发资源紧张，不想投入额外精力开发签名校验、上传状态对齐、异常回滚类逻辑
• 有强合规要求，必须在文件落盘前完成内容审核、格式校验、水印添加等强制处理
  该方案的缺陷非常明确：后端需要承担全部文件传输的带宽与算力成本，base64编码还会额外带来33%的体积膨胀，文件体积超过10MB后很容易出现传输超时、成功率下降的问题，业务量级上涨后服务器成本会明显升高。

方案2（预签名URL直传）适合以下场景： #

• 存在大文件上传需求，单文件体积普遍超过10MB，或者有断点续传、上传进度展示类体验要求
• 业务量级较大，希望尽可能降低后端服务的带宽与负载成本
• 对上传成功率、传输速度要求较高，直传可以减少后端中转的链路损耗
  你提到的复杂度高、多两次网络请求的问题，实际开发中影响极小：目前主流云存储服务商的SDK都已经封装好了预签名URL的生成逻辑，后端只需要几十行代码就能完成开发，两次额外请求都是仅传少量参数的小包请求，资源开销可以忽略不计，远低于大文件中转带来的额外成本。

其他常用实现模式 #

除了上述两种方案外，业内还有三种常见的落地方案：

• STS临时授权直传模式：后端不生成单次的预签名URL，而是调用云存储接口生成有时效性的STS临时访问凭证下发给客户端，客户端直接用云存储官方SDK完成上传，官方SDK默认封装了分块上传、断点续传、错误重试、进度回调等能力，比自己封装预签名URL的开发成本更低，适合文件上传需求较多的项目
• 云存储回调模式：在生成预签名URL/STS凭证时，同步配置云存储的上传回调规则，文件上传完成后由云存储服务主动向你的后端发送回调请求，后端校验回调合法性后更新数据库记录，不需要依赖客户端上传后的主动通知，能避免客户端网络异常导致的通知丢失、数据不一致问题
• 边缘节点中转模式：如果你的用户分布在多区域甚至全球，可先通过CDN的边缘存储节点接收用户上传的文件，再由边缘节点异步同步到核心云存储桶，能大幅提升跨区域用户的上传速度与成功率，适合跨国类业务使用

内容的提问来源于stack exchange，提问作者Farzin Nasiri