Go Echo框架如何实现大文件直传AWS S3 无需服务端暂存

你的理解完全正确。
c.FormFile("file") 拿到文件句柄后调用Open()返回的io.Reader是直接绑定客户端上传的HTTP请求流的，Go的HTTP实现默认不会把整个multipart文件缓存到本地磁盘或全量加载到内存，你直接将这个src作为S3上传的输入体，就能实现客户端上传到服务端的数据流直接管道化转发到S3，全程不需要等待全量文件落服务端，也不需要本地存储文件，完全符合你的需求。

可直接参考的完整实现示例（基于AWS S3 SDK v2）：

import (
    "context"
    "github.com/aws/aws-sdk-go-v2/aws"
    "github.com/aws/aws-sdk-go-v2/service/s3"
    "github.com/aws/aws-sdk-go-v2/feature/s3/manager"
)

// 你的接口处理逻辑
func UploadHandler(c echo.Context) error {
    file, err := c.FormFile("file")
    if err != nil {
        return err
    }

    src, err := file.Open()
    if err != nil {
        return err
    }
    defer src.Close()

    // 小于100MB的文件直接用PutObject即可
    _, err = s3Client.PutObject(context.TODO(), &s3.PutObjectInput{
        Bucket: aws.String("你的bucket名称"),
        Key:    aws.String("存储到S3的文件路径"),
        Body:   src,
        // 可选：提前传入文件大小可优化S3处理效率
        ContentLength: aws.Int64(file.Size),
    })
    if err != nil {
        return c.JSON(500, map[string]string{"error": "上传S3失败"})
    }

    return c.JSON(200, map[string]string{"status": "上传成功"})
}

如果是超过100MB的超大文件，推荐使用S3的分片上传能力，AWS SDK的manager.Uploader会自动处理流式分片，你还是只要传入src即可，不需要做额外的流式处理：

// 大文件分片上传示例
uploader := manager.NewUploader(s3Client, func(u *manager.Uploader) {
    u.PartSize = 10 * 1024 * 1024 // 自定义10MB分片大小
})
_, err = uploader.Upload(context.TODO(), &s3.PutObjectInput{
    Bucket: aws.String("你的bucket名称"),
    Key:    aws.String("存储到S3的文件路径"),
    Body:   src,
})

这个场景不需要额外使用io.Pipe。
io.Pipe的适用场景是需要在两个goroutine之间异步传递流式数据、或者需要对数据流做中间加工（比如边传边算哈希、边加密）的场景。你当前是纯透传数据流，直接把src传给S3 SDK就已经是最优实现，额外加一层io.Pipe只会增加不必要的内存拷贝和goroutine调度开销，没有任何收益。

• 如果你的服务前面有Nginx之类的反向代理，需要确认代理没有开启请求体缓存，否则还是会先缓存全量请求再转发到你的Go服务，就达不到流式转发的效果
• 大文件场景建议给S3上传设置合理的超时时间，同时可以开启SDK的分片上传并发配置，提升传输稳定性

内容的提问来源于stack exchange，提问作者Milos