负载均衡场景下后台文件上传的最优解决方案咨询

针对你遇到的负载均衡场景下文件跨服务器无法访问、粘性会话导致资源浪费的问题，以下是几个落地性强的优化方案，按优先级排序：

1. 前端通过预签名URL直接上传至S3临时桶（最优解） #

彻底绕开应用服务器的本地存储依赖，同时降低后端负载：

• 流程：
  • 用户触发文件上传时，前端先向后端请求一个S3预签名URL（后端基于AWS SDK生成，设置15-30分钟的过期时间，绑定临时桶路径）。
  • 前端使用该URL直接将文件上传至S3临时桶，无需经过应用服务器。
  • 文件上传完成后，前端通知后端触发校验逻辑：后端从S3临时桶下载文件进行解析校验，或借助S3事件通知触发Lambda函数完成校验（更高效，避免后端带宽占用）。
  • 校验通过后，后端将该文件的S3对象键、临时桶标识存储至用户会话（如Redis集中式会话存储）。
  • 用户完成主任务创建后，后端调用S3 API将临时桶中的文件复制至正式存储桶，同时可设置临时桶的生命周期规则（如24小时自动删除过期文件）。
• 优势：完全消除服务器本地存储依赖，负载均衡可自由分发请求，资源利用率拉满；大幅降低应用服务器的带宽和CPU占用；S3的可靠性远高于本地存储。

2. 后端先将文件上传至S3临时桶（兼容现有流程） #

如果不想修改前端逻辑，可调整后端上传流程：

• 流程：
  • 用户上传文件至应用服务器后，后端先完成解析校验。
  • 校验通过后，立即将文件上传至S3临时桶，而非存在本地/tmp目录。
  • 将S3对象键存入用户会话，删除本地临时文件。
  • 用户完成任务创建时，后端从S3临时桶复制文件至正式桶。
• 优势：仅需修改后端逻辑，前端无感知；同样无需粘性会话，负载均衡正常工作；临时文件的生命周期可通过S3规则自动管理。

3. 使用共享分布式文件系统（备选方案） #

将所有应用服务器的/tmp目录挂载至同一个分布式文件系统（如AWS EFS）：

• 流程：所有服务器共享同一套临时存储，文件上传至任意服务器的/tmp后，其他服务器均可访问。
• 注意：需评估EFS的性能（如吞吐量模式）和成本，适合文件数量少、单文件体积小的场景；大文件上传可能会因共享存储的延迟影响体验。

不推荐的方案 #

• 服务器间文件同步：通过脚本或工具将某台服务器的/tmp文件同步至其他服务器，存在同步延迟、一致性风险，且增加运维复杂度和资源开销。

总结：优先选择前端预签名URL直接传S3的方案，其次是后端先传S3临时桶，共享文件系统仅作为特殊场景的备选。

内容的提问来源于stack exchange，提问作者Tom