Go语言中如何流式编码含io.Reader的结构体到JSON？

不需要完全自定义整个JSON编码流程，我们可以利用标准库处理结构体的常规字段，再直接流式写入Rows的内容，避免将大体积数据加载到内存。具体步骤如下：

1. 拆分结构体，编码常规字段：把不需要流式处理的FieldA和FieldB单独抽成一个临时结构体，用标准库json.Encoder编码这部分内容。
2. 拼接JSON结构：去掉常规字段编码结果的闭合大括号，手动添加"rows"字段的键名，然后直接将Rows的内容拷贝到输出流。
3. 补全JSON闭合：最后写入闭合大括号，完成整个JSON对象的构建。

代码实现 #

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"io"
)

type Data struct {
	FieldA string    `json:"field_a"`
	FieldB int       `json:"field_b"`
	Rows   io.Reader `json:"rows"`
}

func EncodeData(w io.Writer, data Data) error {
	// 定义仅包含常规字段的临时结构体
	type PartialData struct {
		FieldA string `json:"field_a"`
		FieldB int    `json:"field_b"`
	}
	partial := PartialData{
		FieldA: data.FieldA,
		FieldB: data.FieldB,
	}

	// 将常规字段编码到临时缓冲区
	buf := &bytes.Buffer{}
	enc := json.NewEncoder(buf)
	if err := enc.Encode(partial); err != nil {
		return fmt.Errorf("encode partial data: %w", err)
	}

	// 处理缓冲区内容：去掉末尾的换行和闭合大括号
	bufBytes := buf.Bytes()
	// 移除Encode自动添加的换行符
	if len(bufBytes) > 0 && bufBytes[len(bufBytes)-1] == '\n' {
		bufBytes = bufBytes[:len(bufBytes)-1]
	}
	// 检查并移除最后的闭合大括号
	if len(bufBytes) == 0 || bufBytes[len(bufBytes)-1] != '}' {
		return fmt.Errorf("invalid partial JSON output")
	}
	bufBytes = bufBytes[:len(bufBytes)-1]

	// 写入处理后的常规字段内容
	if _, err := w.Write(bufBytes); err != nil {
		return fmt.Errorf("write partial data: %w", err)
	}
	// 写入rows字段的键值对前缀
	if _, err := w.Write([]byte(`,"rows":`)); err != nil {
		return fmt.Errorf("write rows key: %w", err)
	}
	// 流式写入Rows的内容（直接传递原始JSON数组）
	if _, err := io.Copy(w, data.Rows); err != nil {
		return fmt.Errorf("copy rows data: %w", err)
	}
	// 写入闭合大括号，完成JSON对象
	if _, err := w.Write([]byte(`}`)); err != nil {
		return fmt.Errorf("write closing brace: %w", err)
	}

	return nil
}

方案优势 #

• 常规字段的编码完全依赖标准库，自动处理转义、格式等问题，无需手动维护JSON语法。
• Rows的内容直接通过io.Copy流式写入输出，不会加载到内存，完美适配大体积数据场景。
• 整个流程仅需拆分结构体和简单的字符串拼接，无需实现复杂的自定义编码器。

注意事项 #

• 必须保证Rows返回的是合法的JSON数组，否则最终输出的JSON会格式错误。
• 如果需要支持缩进格式化，可以调整json.Encoder的SetIndent方法，但要注意处理缩进后的缓冲区内容（比如缩进会导致闭合大括号前有空格，需要正确截取）。

内容的提问来源于stack exchange，提问作者TheEdgeOfRage