Go处理百万级SQL查询结果转CSV的内存占用问题咨询

核心结论 #

• GORM通过DB.Rows()返回的sql.Rows不会一次性加载所有结果到内存，而是依托database/sql标准库和mysql驱动的缓冲机制，逐批从数据库获取数据。
• 循环执行rows.Scan()映射结构体、再通过csv.Writer写入文件的过程中，程序内存占用会保持稳定，不会随结果行数激增而大幅上升。

内存行为细节解释 #

1. 流式结果集的底层实现
   • database/sql标准库的设计初衷就是支持流式处理查询结果，sql.Rows本质是一个结果集迭代器，不会预取全部数据。
   • mysql驱动（github.com/go-sql-driver/mysql）会通过TCP连接，按照MySQL服务器的net_buffer_length参数（默认16KB）分批拉取数据，暂存在驱动内部的缓冲区中。每次调用rows.Next()时，从缓冲区读取一行数据；当缓冲区为空时，才会向服务器请求下一批数据。
2. 内存复用与流式写入
   • 在循环中复用同一个结构体变量进行Scan()操作，每次只会覆盖变量的字段值，不会持续分配新的内存空间。
   • csv.Writer搭配os.File使用时，默认会将数据流式写入磁盘，写入完成后对应内存会被释放，不会在内存中堆积未写入的批量数据。

官方文档依据 #

• Go官方database/sql包文档明确：Rows类型代表数据库查询的结果集，需通过Next()方法逐行推进，Scan()方法将当前行的数据复制到指定的变量中，整个过程不会一次性加载全部结果到内存。
• github.com/go-sql-driver/mysql驱动文档说明：驱动默认遵循database/sql的流式处理模式，不会预取全部查询结果，仅在必要时向服务器请求下一批数据。

内容的提问来源于stack exchange，提问作者mash