如何用psycopg3新COPY命令替代psycopg2的copy_expert缓冲区方案？

问题背景 #

之前使用psycopg2时，可借助copy_expert、BytesIO缓冲区及pandas将大数据集结果导出为CSV并转存为Excel，代码如下：

copy_sql = "COPY (SELECT * FROM big_table) TO STDOUT CSV"

buffer = BytesIO()
cursor.copy_expert(copy_sql, buffer, size=8192)
buffer.seek(0)
pd.read_csv(buffer, engine="c").to_excel(self.output_file)

需要替换为psycopg3的新COPY命令实现相同功能。

解决方案 #

psycopg3提供了两种可行的替代方案，既可以使用新的copy()API，也可以兼容原有的copy_expert逻辑：

方案1：使用psycopg3新的copy()方法（推荐） #

copy()方法简化了语法，无需在SQL中指定STDOUT，直接通过file参数绑定输出流，代码更简洁：

from io import BytesIO
import pandas as pd
import psycopg

# 建立psycopg3连接
conn = psycopg.connect("your_connection_string")
cursor = conn.cursor()

buffer = BytesIO()
# 直接执行COPY命令并写入缓冲区
cursor.copy("COPY (SELECT * FROM big_table) TO CSV", file=buffer)
buffer.seek(0)

# 读取CSV内容并导出为Excel
pd.read_csv(buffer, engine="c").to_excel(self.output_file)

# 关闭资源
cursor.close()
conn.close()

方案2：兼容使用copy_expert方法 #

psycopg3仍保留copy_expert方法，仅需调整参数传递方式（无需指定size，psycopg3会自动处理缓冲区）：

from io import BytesIO
import pandas as pd
import psycopg

conn = psycopg.connect("your_connection_string")
cursor = conn.cursor()

copy_sql = "COPY (SELECT * FROM big_table) TO STDOUT CSV"
buffer = BytesIO()
cursor.copy_expert(copy_sql, file=buffer)
buffer.seek(0)

pd.read_csv(buffer, engine="c").to_excel(self.output_file)

cursor.close()
conn.close()

关键说明 #

• 两种方案均能高效处理大数据集，避免全量数据加载到内存，适合大表导出场景。
• copy()是psycopg3推出的新API，语法更简洁，推荐优先使用。

内容的提问来源于stack exchange，提问作者FlipperPA