Go为JSON对象实现io.WriterTo接口的无拷贝写入方案咨询

你当前实现的额外内存开销完全可以消除，核心思路是两点：

• json.Encoder 原生支持直接写入任意实现了io.Writer接口的目标，不需要借助中间bytes.Buffer做中转
• 给目标Writer套一层极轻量的字节计数包装，就能准确统计实际写入的字节总数，完全符合io.WriterTo的接口语义

完整实现代码 #

package calendar

import (
    "encoding/json"
    "io"
)

type date struct {
    Month int
    Day   int
}

// 轻量写入字节计数器，无额外内存拷贝
type byteCountWriter struct {
    w            io.Writer
    writtenBytes int64
}

func (bcw *byteCountWriter) Write(p []byte) (int, error) {
    n, err := bcw.w.Write(p)
    bcw.writtenBytes += int64(n)
    return n, err
}

func (d date) WriteTo(w io.Writer) (int64, error) {
    bcw := &byteCountWriter{w: w}
    err := json.NewEncoder(bcw).Encode(d)
    return bcw.writtenBytes, err
}

方案说明 #

• 无全量内存拷贝：JSON序列化过程中产生的所有数据会直接写入传入的目标Writer，不会在内存中缓存完整的序列化结果，内存开销固定且极低，和最终生成的JSON体积完全无关，大体积JSON场景下内存优势尤其明显
• 字节计数准确：计数逻辑在每次实际写入操作时同步累加，哪怕中途写入报错，返回的字节数也是真实已经写入目标的长度，完全匹配io.WriterTo接口对返回值的语义要求
• 行为完全兼容旧实现：json.Encoder.Encode默认会在序列化结果末尾追加换行符，和你之前用bytes.Buffer中转的实现行为完全一致，不会产生兼容性问题

如果不想额外自定义计数Writer，也可以用标准库io.MultiWriter配合做计数的丢弃Writer实现，但自定义计数结构体的运行开销是最低的。

内容的提问来源于stack exchange，提问作者Zombo