Go操作PostgreSQL：COPY语句获取CSV结果无返回问题排查

问题原因 #

PostgreSQL的COPY (select * from table) TO STDOUT WITH CSV并非普通查询语句，它不会返回标准的结构化结果集，而是直接输出流式CSV数据。你用Query()方法执行该语句，这个方法是为处理SELECT类的结构化结果设计的，自然无法通过rows.Next()获取到数据。

解决方案 #

根据你使用的PostgreSQL驱动，选择对应的流式读取方式：

方案一：使用pgx驱动（推荐） #

pgx是目前PostgreSQL的主流Go驱动，提供了直接处理COPY操作的接口：

import (
    "bufio"
    "bytes"
    "fmt"

    "github.com/jackc/pgx/v5"
)

func (db *Dbq) GetResults() ([]string, error) {
    // 用缓冲区捕获COPY输出的CSV数据
    buf := &bytes.Buffer{}
    // 执行COPY语句并将输出写入缓冲区
    _, err := db.conn.(*pgx.Conn).CopyTo(db.context, buf, "COPY (select * from table) TO STDOUT WITH CSV")
    if err != nil {
        return nil, err
    }

    // 按行读取缓冲区中的CSV内容
    var csvLines []string
    scanner := bufio.NewScanner(buf)
    for scanner.Scan() {
        csvLines = append(csvLines, scanner.Text())
    }

    if err := scanner.Err(); err != nil {
        return nil, fmt.Errorf("scan csv data failed: %w", err)
    }

    return csvLines, nil
}

方案二：使用lib/pq驱动 #

如果你仍在使用旧的lib/pq驱动，可通过CopyOut方法读取流式结果：

import (
    "bufio"
    "fmt"

    "github.com/lib/pq"
)

func (db *Dbq) GetResults() ([]string, error) {
    // 断言连接为lib/pq的连接类型
    pqConn, ok := db.conn.(*pq.Conn)
    if !ok {
        return nil, fmt.Errorf("connection is not a lib/pq connection")
    }

    // 执行COPY语句获取数据流读取器
    reader, err := pqConn.CopyOut(db.context, "COPY (select * from table) TO STDOUT WITH CSV")
    if err != nil {
        return nil, err
    }
    defer reader.Close()

    // 按行读取CSV内容
    var csvLines []string
    scanner := bufio.NewScanner(reader)
    for scanner.Scan() {
        csvLines = append(csvLines, scanner.Text())
    }

    if err := scanner.Err(); err != nil {
        return nil, fmt.Errorf("scan csv data failed: %w", err)
    }

    return csvLines, nil
}

注意事项 #

• 确保你的数据库连接实例能正确转换为对应驱动的连接类型（如*pgx.Conn或*pq.Conn）
• 如果需要直接使用原始CSV字节流，可直接读取缓冲区或reader的内容，无需按行分割

内容的提问来源于stack exchange，提问作者user1234845