Go-Chi应用大文件直传AWS S3的内存优化及问题咨询

我有一个部署在Nginx反向代理（通过proxy_pass指令）后的Go-Chi（Golang）Web应用，负责接收multipart/form-data类型的POST请求上传文件，再将文件转存至AWS S3。

当前应用接收请求后会创建multipart.File类型对象，据我理解整个文件会被加载到内存中。但我需要处理5GB-10GB的大文件，而服务器仅配备2GB内存，无法支撑全量内存占用。

AWS S3支持分片上传，我已基于Go语言实现了分片上传的轻量POC，但发现Go-HTTP库在生成*multipart.File时已做分片内存分配，与我的实现存在重复工作，现咨询以下问题：

1. 是否可直接利用ParseMultipartForm生成的分片文件上传至S3，避免全量文件占用内存（即流式上传）？
2. 是否应跳过Go-HTTP对multipart.File的解析与内存分配，直接将文件写入磁盘后再用S3分片上传？不过我担心仍需全量加载文件到内存，无法解决内存不足问题。
3. Nginx在将请求转发给Web应用前，是否会对文件进行解析与分片处理？

我实现的S3分片上传POC代码如下：

partBufSize := int64(10000000)
byteOffset := int64(0)

for { 
    remainingStreamBytes := uploadSize - bytesOffset
    if remainingStreamBytes < partBufSize {
        partBufSize = remainingStreamBytes
    }

    _, _ = uploadedFile.Seek(bytesOffset, io.SeekStart)

    filePartBuffer := make([]byte, partBufSize)
    _, err := uploadedFile.Read(filePartBuffer)
    if err != nil {
        if err == io.EOF {
            break
        }
        log.Error().Msg(err.Error())
    }

    uploadPartRes, err := s3Client.UpParts(&aws.PartObjectInput{
        Key:      uploadPartsRequest.Key,
        Body:     bytes.NewReader(filePartBuffer),
        PartNum:  aws.Int64(int64(count)),
        UpId:     uploadPartsRequest.UploadId,
        PartSize: aws.Int64(partBufSize),
    })
    if err != nil {
        log.Error().Msg(err.Error())
    }
    bytesOffset = bytesOffset + partBufSize

    compParts = append(compParts, &s3.CompletedPart{
        ETag:       uploadPartRes.ETag,
        PartNumber: aws.Int64(int64(count)),
    })
    count++
}

问题1：能否利用ParseMultipartForm的分片实现流式上传到S3？ #

可以，只需调整参数并优化读取逻辑即可实现流式上传，避免全量内存占用：

• 调用ParseMultipartForm(maxMemory)时，将maxMemory设为与S3分片大小一致的值（比如你的10MB），此时大于该值的文件会自动写入磁盘临时文件，multipart.File实际指向磁盘文件而非内存数据。
• 无需使用Seek来回读取，直接从multipart.File流式读取分片：每次读取固定大小的缓冲区，直接传给S3上传接口，读完即释放缓冲区，内存占用始终维持在分片大小级别。
• 优化POC代码：去掉Seek操作，循环读取multipart.File直到EOF，直接将读取的缓冲区作为S3分片的Body（AWS SDK支持直接传入io.Reader，无需先转成字节数组）。

问题2：是否需要跳过Go-HTTP解析，直接写磁盘再分片上传？ #

不需要跳过Go-HTTP解析，反而可以利用它的临时文件机制简化实现：

• 跳过解析意味着要自己处理multipart/form-data的边界解析，会大幅增加代码复杂度。
• 只要正确设置ParseMultipartForm(maxMemory)，大文件会自动写入临时文件，你可以通过类型断言multipart.File.(*os.File)获取磁盘文件句柄，然后分片读取上传，每次仅加载一个分片到内存，完全不会占用全量内存。
• 上传完成后可立即删除临时文件，或配置Nginx的客户端临时文件目录到有足够空间的磁盘，避免磁盘占用问题。

问题3：Nginx是否会在转发前解析分片文件？ #

默认情况下不会，Nginx仅做请求转发，不会干预文件解析：

• proxy_pass默认仅转发原始请求的字节流，不会解析multipart/form-data的结构，也不会对文件做分片处理。
• 除非配置了client_body_in_file_only或client_body_buffer_size等参数，Nginx可能会将请求体写入临时文件缓冲，但这只是为了处理大请求体，不会解析multipart内容，分片逻辑仍由你的Go应用负责。

内容的提问来源于stack exchange，提问作者exception_thrown