Go语言中如何不加载全文件到内存，按需读取任意字节数？

Go标准库的io.ReadFull函数正是解决这个需求的最佳工具。它会从输入的io.Reader（比如os.File）中读取指定数量的字节，直到读满要求的长度，或者遇到错误/EOF。

你可以封装一个简单的函数来实现类似你示例中的调用方式：

package main

import (
    "io"
    "os"
    "log"
)

// readNBytes 从reader中读取n字节数据，返回读取到的字节切片和错误
func readNBytes(reader io.Reader, n int) ([]byte, error) {
    buf := make([]byte, n)
    _, err := io.ReadFull(reader, buf)
    // 如果是EOF且读取到部分字节，返回io.ErrUnexpectedEOF
    // 可根据需求调整错误处理逻辑，比如返回已读取的字节
    if err != nil {
        return nil, err
    }
    return buf, nil
}

func main() {
    f, err := os.Open("./file.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close() // 记得关闭文件

    someBytes, err := readNBytes(f, 2)
    if err != nil {
        log.Fatal(err)
    }
    log.Printf("读取到2字节: %v", someBytes)

    someMoreBytes, err := readNBytes(f, 4)
    if err != nil {
        log.Fatal(err)
    }
    log.Printf("读取到4字节: %v", someMoreBytes)
}

关键说明： #

• io.ReadFull会自动处理Read方法可能返回少于请求字节数的情况，内部循环读取直到凑够n字节。
• 如果文件剩余字节数不足n，io.ReadFull会返回io.ErrUnexpectedEOF错误，此时可以根据业务需求选择返回已读取的部分字节，或者直接报错。比如修改函数处理这种情况：

func readNBytes(reader io.Reader, n int) ([]byte, error) {
    buf := make([]byte, n)
    readLen, err := io.ReadFull(reader, buf)
    if err == io.ErrUnexpectedEOF {
        // 返回已读取的部分字节和错误
        return buf[:readLen], err
    }
    if err != nil {
        return nil, err
    }
    return buf, nil
}

• 这种方式完全不需要加载整个文件到内存，每次读取都是直接从文件流中获取指定长度的数据，符合你的需求。

内容的提问来源于stack exchange，提问作者IlyaMeer