psycopg2：复用查询游标执行插入是否影响剩余行读取？

当然可以！这种分批读取海量数据的场景，正是游标设计的核心用途之一——你完全可以复用这个执行过SELECT的游标，后续循环里的fetchmany()会自动读取剩余的数据行，根本不需要额外的操作来“重置”或者“复用”游标。

原理说明 #

当你调用 cur.execute("select * from readtable") 之后，数据库会在服务器端（或客户端，取决于游标类型）生成对应的结果集，游标就像一个移动指针：

• 初始时指针指向结果集的开头
• 每次调用 fetchmany(100000)，指针会向后移动100000行，返回这段范围内的数据
• 下一次调用fetchmany()时，指针会从上次停下的位置继续推进，直到结果集被完全读取（此时fetchmany()返回空列表）

只要你不在循环过程中执行其他cur.execute()语句（这会销毁当前结果集，让游标指向新的查询结果），这个游标就会一直保持当前的读取位置，完美实现复用。

你的代码逻辑是正确的！ #

你给出的代码本身就已经是标准的分批读取范式：

cur.execute("select * from readtable")
total_rows = 0
while True:
    rows = cur.fetchmany(100000)
    total_rows += len(rows)
    if len(rows) == 0:
        break
    for row in rows:
        newdata = ...  # 你的数据处理逻辑
        # 插入另一表的操作

这段代码会自动逐步读取所有剩余行，直到结果集耗尽。

优化建议（处理大量数据时更高效） #

为了提升插入性能，推荐使用批量插入代替单条插入，同时注意资源的正确释放：

# 以MySQL为例，其他数据库驱动逻辑类似
import mysql.connector

# 建立数据库连接
conn = mysql.connector.connect(
    host="your_host",
    user="your_user",
    password="your_password",
    database="your_db"
)
cur = conn.cursor()

try:
    # 执行查询，生成结果集
    cur.execute("SELECT * FROM readtable")
    total_rows = 0
    batch_size = 100000
    insert_sql = "INSERT INTO writetable (col1, col2, col3) VALUES (%s, %s, %s)"

    while True:
        rows = cur.fetchmany(batch_size)
        if not rows:
            break
        
        total_rows += len(rows)
        print(f"已处理 {total_rows} 行数据")

        # 批量准备插入数据
        insert_batch = []
        for row in rows:
            # 根据实际业务逻辑转换数据
            processed_data = (row[0], row[1], row[2])
            insert_batch.append(processed_data)
        
        # 批量插入，大幅提升效率
        if insert_batch:
            cur.executemany(insert_sql, insert_batch)
            conn.commit()

finally:
    # 务必关闭游标和连接，释放资源
    cur.close()
    conn.close()

注意事项 #

• 不要在循环中间执行其他cur.execute()，否则当前结果集会被销毁，剩余行无法再读取
• 部分数据库（如PostgreSQL）处理超大规模结果集时，可能需要显式创建服务器端游标，但默认游标通常足以应付大多数分批读取场景
• 处理完数据后一定要关闭游标和连接，避免数据库资源泄漏

内容的提问来源于stack exchange，提问作者Yi Zhao