如何通过代理从浏览器无序列化、无签名URL上传受控大文件至私有S3存储桶

OpenResty+Lua 完全可行 #

OpenResty基于Nginx扩展，通过Lua脚本可灵活处理复杂请求逻辑，完美匹配你的上传需求：

• 无文件序列化代理：结合Nginx的proxy_pass与Lua动态生成S3认证头，直接将请求体透传给S3，全程不落地、不序列化任何文件（包括分片），性能可支撑TB级周流量。
• 绕过签名URL：在OpenResty层完成S3 V4签名计算，客户端仅需向你的代理地址发起上传请求，无需接触S3直连地址或签名逻辑。
• 严格上传管控：可在Lua脚本中嵌入权限校验（如用户身份、文件类型、上传配额），针对医疗影像的敏感属性，还能集成合规检查逻辑，仅校验通过的请求才会转发至S3。
• 分片上传支持：通过Lua处理浏览器分片上传请求（如multipart/form-data或标准分片协议），动态拼接S3分片上传API参数，同时保持请求体透传，避免代理层处理文件内容。

核心逻辑伪代码示例：

-- access_by_lua_block 中处理权限校验
local user_id = ngx.var.http_x_user_id
if not validate_user_permission(user_id) then
    ngx.exit(403)
end

-- 生成S3 V4签名并设置请求头
local s3_signature = generate_s3_v4_signature(ngx.req.get_method(), ngx.var.uri)
ngx.req.set_header("Authorization", s3_signature)
ngx.req.set_header("Host", "your-private-bucket.s3.amazonaws.com")

-- 透传请求至S3
proxy_pass https://your-private-bucket.s3.amazonaws.com;

其他适配方案 #

若不想基于OpenResty开发，还有两类可选方向：

• Nginx第三方模块组合：用ngx_http_auth_request_module对接外部认证服务，配合ngx_http_proxy_module的proxy_request_buffering off参数关闭请求缓冲，实现无序列化上传。但需自行处理S3签名生成，灵活性不如OpenResty+Lua。
• 云原生网关：比如AWS API Gateway（私有模式），配置请求转换与S3集成，在网关层完成签名和权限校验，客户端仅需调用网关地址。需注意TB级流量下的网关成本测算。

Node.js应用优化方向 #

若要基于现有Node.js应用改造，避免返回签名URL，可做如下调整：

• 搭建透传代理中间层：使用http-proxy库，开启proxyReqNoProxy和preserveHeaderKeyCase，将客户端上传请求直接透传给S3，同时在Node.js层完成S3签名生成与权限校验。注意必须禁用body-parser等请求体解析中间件，避免序列化文件。
• 分片上传处理：在Node.js层接收浏览器分片请求，验证分片合法性后直接转发至S3分片上传API，最后在服务端完成分片合并，全程不存储文件内容。

内容的提问来源于stack exchange，提问作者dada216