Golang返回Postgres的*sql.Rows结果集供其他函数遍历但Next()不触发的问题
问题根因
你碰到的空结果问题,核心是两个defer的执行时机错位,和Postgres、MySQL的驱动差异只是巧合性的表象:
- 在
retreiveAllResponses函数里写的defer db.Close():Go的defer会在函数return的瞬间立刻按栈顺序执行,也就是说刚把queryResult返回给外层函数,绑定这个结果集的数据库连接池就被关掉了 - 同位置写的
defer queryResult.Close():也会在return的瞬间执行,你要返回出去的*sql.Rows对象本身直接被提前关闭
外层拿到的queryResult已经是被销毁的失效对象,Next()方法自然直接返回false,根本进不了循环。之前MySQL环境能跑通,只是因为部分MySQL驱动会把查询结果全量提前缓存到内存,哪怕底层连接断了也能读数据;换成Postgres的流式返回模式,一旦连接释放,结果集直接就取不到内容了。
修正思路
首先明确核心规则:sql.Rows对象是强绑定底层数据库连接的,一旦关联的连接被关闭、或者Rows本身被主动Close,所有后续的读取操作都会直接失效。你原来的写法完全反了defer的使用场景——总不能在把东西递出去的瞬间,就反手把东西给扔了对吧?
正确的逻辑拆分要做到两点:
- 数据库连接池要做全局单例复用,不要每次查数据都新建一个连接池、用完就关,既浪费资源也容易触发连接泄漏
- 把
db.Close()、queryResult.Close()的逻辑,全部移到真正使用完Rows的外层作用域里执行
修正后的代码示例
第一步,把连接池改成全局复用,不要每次查询都初始化:
// 全局初始化一次的连接池,应用启动时调用一次InitDB即可 var db *sql.DB func InitDB() error { connection := fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s sslmode=disable", host, port, user, password, dbname) var err error // sql.Open只是初始化连接池结构,不会真正建立数据库连接 db, err = sql.Open("postgres", connection) if err != nil { return err } // 通过Ping真正校验连接是否可用 if err = db.Ping(); err != nil { return err } log.Println("Connected to postgres db.") return nil }
第二步,重写查询函数,去掉所有提前关闭资源的defer:
func retreiveAllResponses() (*sql.Rows, error) { selecQuery := "SELECT OrgResponseData FROM responses;" // 直接使用全局连接池执行查询 queryResult, err := db.Query(selecQuery) // 这里绝对不能加defer queryResult.Close(),因为Rows要返回给外层使用 if err != nil { return nil, err } return queryResult, nil }
第三步,在外层结果处理函数里,加上对应的资源关闭逻辑:
func processQueryResult() { queryResult, err := retreiveAllResponses() if err != nil { log.Println("查询执行出错:", err) return } // 在这里加defer,等整个处理函数执行完再关闭结果集 defer queryResult.Close() noResponsesYet := true for queryResult.Next(){ log.Println(" --> queryResult.Next loop executing ...") var OrgResponseData string if scanErr := queryResult.Scan(&OrgResponseData); scanErr != nil { log.Println("扫描行数据出错:", scanErr) break } noResponsesYet = false // 在这里逐行处理数据即可 } // 循环结束后必须检查遍历过程中是否出现底层错误 if err := queryResult.Err(); err != nil { log.Println("结果集遍历过程出错:", err) } }
额外注意点
- 只要你需要把
*sql.Rows作为返回值传递,就绝对不能在生成Rows的函数内部写任何针对Rows、绑定连接的Close逻辑,Close动作必须跟随实际使用Rows的作用域走 - 哪怕这种写法在MySQL环境下能碰巧跑通,碰到Postgres的流式返回模式、或者高并发连接数场景,一定会出现数据丢失、连接泄漏的问题
- 遍历完结果集一定要调用
queryResult.Err()做错误校验,不能只靠Next()的返回值判断是正常读完了结果,还是中途出现了网络中断、字段类型不匹配的问题
内容的提问来源于stack exchange,提问作者Rodgers Ategyeka
相关产品推荐
相关产品推荐

