Golang中res.Body.Read读取字节数偏小的原因及适配方案

一、res.Body.Read(buf)未读满的底层原因 #

res.Body 实现了Go标准库的 io.Reader 接口，该接口的 Read 方法不保证一次性读取满传入的缓冲区，它的核心约定是：最多读取 len(buf) 字节数据，返回实际读取的字节数和可能的错误（EOF表示读取结束）。具体导致读取字节数小于设定值的场景包括：

• TCP传输层面：TCP依赖滑动窗口机制控制数据传输，若网络带宽有限、存在延迟，或服务器的发送窗口较小，会导致数据包被拆分发送，本地每次只能读取到部分数据；Nagle算法虽会合并小数据包，但服务器主动拆分发送时，也会出现小批次读取的情况。
• 服务器发送策略：如果服务器启用了HTTP分块传输编码（Transfer-Encoding: chunked），服务器会将响应体拆分成多个小分块逐个发送，此时Read每次只能读取到一个分块的大小，通常远小于设定的chunkSizeInBytes。
• 中间代理/网关：请求经过的代理服务器可能会对响应体进行拆分处理，进一步缩小单次读取的字节数。

二、服务器不支持Range请求时的分块读取实现 #

要实现严格按设定的chunkSize分块读取，需自行封装读取逻辑，通过循环读取、缓存数据的方式，凑够指定大小的块后再返回。以下是基于Go迭代器的实现示例：

import (
    "io"
    "iter"
)

func chunkDownload(reader io.Reader, chunkSize int) iter.Seq2[[]byte, error] {
    return func(yield func([]byte, error) bool) {
        buf := make([]byte, chunkSize)
        var leftover []byte

        for {
            // 填充缓冲区的剩余空间
            n, err := reader.Read(buf[len(leftover):])
            if n > 0 {
                leftover = append(leftover, buf[len(leftover):len(leftover)+n]...)
            }

            // 缓存足够时，返回完整chunk
            for len(leftover) >= chunkSize {
                chunk := leftover[:chunkSize]
                leftover = leftover[chunkSize:]
                if !yield(chunk, nil) {
                    return
                }
            }

            // 处理读取结束或错误
            if err != nil {
                if err == io.EOF && len(leftover) > 0 {
                    yield(leftover, nil)
                }
                yield(nil, err)
                return
            }
        }
    }
}

实现逻辑说明 #

1. 维护leftover缓冲区，存储上一次读取后未凑够chunkSize的剩余数据。
2. 每次调用reader.Read填充缓冲区的剩余空间，将读取到的数据追加到leftover。
3. 检查leftover长度，若达到或超过chunkSize，截取完整chunk返回给迭代器，剩余数据留在缓冲区中。
4. 读取到EOF时，若leftover还有剩余数据，返回最后一个不完整的块，再传递错误结束迭代。

这种方式可确保除最后一块外，所有返回的块大小严格等于设定的chunkSizeInBytes，完全不受底层Read方法单次读取字节数的影响。

内容的提问来源于stack exchange，提问作者Vivere