Go语言如何不创建临时字节切片从net.Conn读取TCP不定长数据包

首先明确核心前提：TCP 是面向字节流的传输协议，不存在原生的业务包边界，net.Conn.Read 每次返回的读取长度只代表本次系统调用拿到的字节数，和你业务层面定义的数据包没有对应关系，内核也不会主动告知完整业务包的大小，所以必须先在业务协议层自定义包结构。

当前实现的问题 #

你目前的写法存在几个明显缺陷：

• 每次循环都分配2MB的字节切片，会产生大量临时内存对象，带来极高的GC压力，高并发场景下性能损耗非常明显
• 完全忽略了Read返回的错误，连接断开、出现网络异常时会进入死循环
• 无法处理TCP天然的粘包、拆包问题，裁剪后拿到的data大概率不是完整的业务数据包

推荐实现方案 #

1. 自定义业务包协议 #

通用最优方案是采用「固定包头+包体」的协议结构，比如包头固定占4字节，存储后续包体的长度，示例约定：

包总结构 = [4字节大端序存储的包体长度] + [N字节包体内容]
const HeaderSize = 4

2. 按需分配对应大小的缓冲区 #

先读取固定长度的包头，解析出包体实际长度后，再分配完全匹配大小的缓冲区读取包体，配合bufio.Reader封装连接减少系统调用开销，示例代码：

import (
    "bufio"
    "encoding/binary"
    "net"
)

func ReadPacket(conn net.Conn) ([]byte, error) {
    reader := bufio.NewReader(conn)
    // 读取固定长度包头
    headerBuf := make([]byte, HeaderSize)
    _, err := reader.ReadFull(headerBuf)
    if err != nil {
        return nil, err
    }
    // 解析得到包体长度
    bodyLen := binary.BigEndian.Uint32(headerBuf)
    // 分配和包体大小完全匹配的缓冲区
    bodyBuf := make([]byte, bodyLen)
    _, err = reader.ReadFull(bodyBuf)
    if err != nil {
        return nil, err
    }
    return bodyBuf, nil
}

3. 高并发场景优化（可选） #

如果服务吞吐量较高，可以用sync.Pool实现缓冲区复用，避免频繁的内存分配和回收，进一步降低GC压力：

import "sync"

// 按业务常用包大小定义缓冲池，可根据需要做多级大小的池
var bufPool = sync.Pool{
    New: func() any {
        return make([]byte, 4096)
    },
}

// 用完缓冲区后放回池子
func ReleaseBuffer(buf []byte) {
    bufPool.Put(buf[:cap(buf)])
}

内容的提问来源于stack exchange，提问作者Angel