如何将含二进制数据的io.Reader转为base64编码的io.Reader适配S3上传？

当然有办法解决这个问题！你观察得很准——Go标准库的encoding/base64确实只提供了从base64解码的Reader（base64.NewDecoder）和将二进制编码为base64的Writer（base64.NewEncoder），但我们可以自己封装一个实现io.Reader接口的结构体，实现边读二进制数据流边输出base64编码流的效果，完全符合s3manager.Uploader的要求，而且全程不需要把大文件加载到内存里。

自定义Base64编码Reader的实现 #

核心思路是：用一个结构体封装底层的二进制io.Reader，以及一个base64.Encoder，通过管道（pipe）将编码后的内容流式输出。每次调用Read方法时，我们会从管道读取编码后的片段，而管道的另一端则在后台持续读取原始二进制数据并编码，全程都是流式处理。

package main

import (
	"encoding/base64"
	"io"
)

// Base64EncoderReader 实现io.Reader接口，流式将二进制数据编码为base64
type Base64EncoderReader struct {
	src     io.Reader       // 原始二进制数据的Reader
	pr      io.Reader       // 用于接收编码后内容的管道读端
	err     error           // 存储编码过程中出现的错误
}

// NewBase64EncoderReader 创建一个新的Base64编码Reader
// enc可以是base64.StdEncoding或base64.URLEncoding等编码规则
func NewBase64EncoderReader(enc *base64.Encoding, src io.Reader) *Base64EncoderReader {
	// 创建管道，连接编码器输出和我们的Reader
	pr, pw := io.Pipe()
	encoder := enc.NewEncoder(pw)

	r := &Base64EncoderReader{
		src: src,
		pr:  pr,
	}

	// 启动后台goroutine，持续读取原始数据并编码到管道
	go func() {
		defer pw.Close()
		defer encoder.Close()
		// 用io.Copy实现流式复制编码，自动处理缓冲区
		_, r.err = io.Copy(encoder, r.src)
	}()

	return r
}

// Read 实现io.Reader接口，返回编码后的base64数据
func (r *Base64EncoderReader) Read(p []byte) (n int, err error) {
	// 如果之前编码过程已经出错，直接返回错误
	if r.err != nil {
		return 0, r.err
	}

	// 从管道读取编码后的内容到输出缓冲区
	n, err = r.pr.Read(p)
	// 管道EOF时，检查后台goroutine是否有错误（比如原始Reader读取出错）
	if err == io.EOF {
		err = r.err
	}
	return
}

使用示例（配合AWS S3 Uploader） #

下面是如何用这个自定义Reader配合s3manager.Uploader上传大文件的完整示例：

package main

import (
	"context"
	"os"

	"github.com/aws/aws-sdk-go-v2/aws"
	"github.com/aws/aws-sdk-go-v2/config"
	"github.com/aws/aws-sdk-go-v2/service/s3"
	"github.com/aws/aws-sdk-go-v2/feature/s3/manager"
)

func main() {
	// 加载AWS默认配置
	cfg, err := config.LoadDefaultConfig(context.TODO())
	if err != nil {
		panic("加载AWS配置失败: " + err.Error())
	}

	// 创建S3客户端和上传器
	s3Client := s3.NewFromConfig(cfg)
	uploader := manager.NewUploader(s3Client)

	// 打开本地的二进制大文件（比如视频、压缩包等）
	sourceFile, err := os.Open("large-binary-file.bin")
	if err != nil {
		panic("打开文件失败: " + err.Error())
	}
	defer sourceFile.Close()

	// 创建Base64编码Reader，使用标准Base64编码规则
	base64Reader := NewBase64EncoderReader(base64.StdEncoding, sourceFile)

	// 上传到S3
	uploadResult, err := uploader.Upload(context.TODO(), &s3.PutObjectInput{
		Bucket: aws.String("your-s3-bucket-name"),
		Key:    aws.String("encoded-file-base64.txt"),
		Body:   base64Reader, // 直接传入自定义的流式Reader
	})
	if err != nil {
		panic("上传文件失败: " + err.Error())
	}

	println("文件上传完成，访问地址：", uploadResult.Location)
}

关键细节说明 #

• 零内存过载：整个过程中没有把大文件一次性加载到内存，而是通过io.Copy和管道实现了分块读取、分块编码、分块上传，非常适合处理GB级别的大文件。
• 编码规则灵活：你可以根据需求替换base64.StdEncoding为base64.URLEncoding（适合URL场景）或base64.RawStdEncoding（不带填充字符）等，只需要在创建Base64EncoderReader时传入对应的编码规则即可。
• 错误传递完整：后台goroutine会捕获原始Reader的读取错误，并在后续的Read调用中返回给上层，确保上传过程中的错误能被正确感知和处理。

内容的提问来源于stack exchange，提问作者AC.