Go读取1.5GB DBF文件时触发内存不足错误，求解决方案

问题原因 #

你用的是32位Go版本（windows/386），32位进程的内存上限通常在2GB左右。1.5GB的文件要全部加载到内存，再加上bytes.Buffer扩容时的额外内存开销（扩容会分配当前容量2倍的空间），很容易触发内存溢出。另外原代码里io.ReadAtLeast的使用没必要，用io.Read处理最后一块不足指定长度的内容更稳妥。

解决方案 #

1. 切换到64位Go版本（最直接有效） #

直接下载安装windows/amd64架构的Go 1.21.6，64位进程可以充分利用你的16GB内存，1.5GB文件完全能装下，内存溢出问题会直接消失。

2. 预分配内存优化（32位环境下的临时方案） #

如果暂时没法换64位版本，提前获取文件大小给bytes.Buffer预分配足够空间，避免频繁扩容带来的额外内存占用：

import (
    "bytes"
    "io"
    "os"
)

func readFile(filename string) ([]byte, error) {
    f, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer f.Close()

    // 获取文件大小，用于预分配内存
    fileInfo, err := f.Stat()
    if err != nil {
        return nil, err
    }
    fileSize := fileInfo.Size()

    var result bytes.Buffer
    // 预分配刚好装下文件的空间，避免扩容时的内存浪费
    result.Grow(int(fileSize))

    buf := make([]byte, 4096)
    for {
        n, err := io.Read(f, buf)
        if err != nil {
            if err == io.EOF {
                break
            }
            return nil, err
        }
        if _, writeErr := result.Write(buf[:n]); writeErr != nil {
            return nil, writeErr
        }
    }
    return result.Bytes(), nil
}

3. 流式处理（推荐长期优化方向） #

如果后续处理DBF文件不需要一次性加载全部内容，可以改成边读边处理的流式方式，这样内存占用会一直维持在缓冲区大小（4096字节），彻底避免内存溢出。比如逐行或逐记录读取处理，而不是把整个文件塞到字节切片里。

内容的提问来源于stack exchange，提问作者Andrew