Psycopg2服务器端游标rowcount为-1时如何获取查询结果总数？

嘿，这个问题我之前也碰到过！用server side cursor的时候rowcount返回-1是完全正常的——因为这种游标是流式拉取数据，数据库不会提前把所有结果都加载到内存里统计总数，所以驱动（比如psycopg2）根本没法知道总共有多少条数据，只能返回-1。

你不想额外执行SELECT COUNT(*)来避免API复杂化，这个需求完全合理，我有个可行的方案给你：

用窗口函数COUNT(*) OVER()把总数嵌入结果中 #

PostgreSQL的窗口函数可以帮你在同一次查询里同时拿到数据和总数，不需要额外发起请求。具体来说，你可以在原查询里添加一个COUNT(*) OVER()字段，这个字段会为每一行返回整个结果集的总行数，你只需要从第一行提取这个值就行。

举个实际的代码例子：

假设你原来的查询是：

with db.cursor('cursor_name') as cursor:
    cursor.execute("SELECT id, username FROM users WHERE is_active = true")
    for row in cursor:
        # 处理每一行数据

修改后的查询会带上窗口函数：

total_count = None

with db.cursor('cursor_name') as cursor:
    # 添加COUNT(*) OVER() AS total_count，把总数嵌入每一行
    cursor.execute("""
        SELECT id, username, COUNT(*) OVER() AS total_count 
        FROM users 
        WHERE is_active = true
    """)
    
    for idx, row in enumerate(cursor):
        id, username, count = row
        # 只在第一行提取总数，后面的行忽略重复的count值
        if idx == 0:
            total_count = count
        # 处理业务数据（id和username）
        print(f"处理用户: {username}")
    
    print(f"总共有 {total_count} 条有效用户数据")

注意事项 #

• 如果你的查询带有LIMIT/OFFSET，COUNT(*) OVER()返回的是符合WHERE条件的总行数（不是LIMIT后的行数），这通常是你想要的总数；
• 如果原查询包含GROUP BY或DISTINCT，窗口函数会基于分组后的结果统计行数，这也符合预期；
• 这个方法的小缺点是每一行都会多传输一个重复的总数字段，但对于大多数场景来说，这点额外开销完全可以接受，而且省去了两次查询的复杂度。

为什么其他方法不可行？ #

• 不要尝试用cursor.fetchall()来获取总数：这样会把所有结果一次性加载到内存，完全失去了server side cursor流式传输的意义；
• PostgreSQL本身没有提供server side cursor的总数查询API，因为游标设计的核心就是“按需取数”，不会提前统计总数。

内容的提问来源于stack exchange，提问作者Geoff