SQL编辑器与Python psycopg2查询记录数差异排查求助

问题背景 #

我将完全相同的Redshift查询复制到Python中执行，分别测试了pandas.read_sql和直接使用psycopg2 cursor.execute的计数结果；在SQL编辑器端，也在DBeaver、Beekeeper和MySQL Workbench中测试了计数。移除所有关联操作简化查询后，不同环境间仍存在记录数差异。已检查所有环境的getdate()，时间戳一致，排除时区差异问题。差异达20-30k条（6个月数据窗口），远超时间差导致的少量偏差。

简化测试查询 #

select count(distinct u.customerid)
from users u   

Python测试代码 #

conn = psycopg2.connect(f"dbname={DB} host={HOST} port={PORT} user={USER} password={PWD}")
cursor = conn.cursor()

cursor.execute('''  select count(distinct u.customerid)
                    from users u
        ''')
result = cursor.fetchone()
print(result)
conn.close()

核心排查要点 #

• 确认连接目标一致性：检查所有工具（Python、DBeaver等）的连接参数，确保host、dbname完全一致，避免误连到测试集群或其他实例。
• 用户权限与数据范围：不同数据库用户可能受行级安全策略（RLS）、分片权限限制，导致可见数据不同。执行show user;对比各环境用户，再执行select count(*) from users（不带distinct），先确认总条数是否一致，定位是distinct逻辑还是数据范围问题。
• 跳过查询结果缓存：Redshift会缓存查询结果，不同环境可能命中不同缓存版本。在查询末尾添加/* no cache */强制刷新，或执行reset query_cache;后重新查询。
• 检查customerid数据特性：
  • 统计select count(*) from users where customerid is null，确认各环境空值计数一致；
  • 排查是否存在空字符串（''），不同工具对空字符串与NULL的处理可能有差异；
  • 确认customerid数据类型，避免隐式转换导致的数值/字符串识别差异。
• 固定数据快照范围：如果集群有持续写入/更新，不同时间点查询会拿到不同数据。在所有环境中执行带固定时间范围的查询，比如select count(distinct u.customerid) from users u where u.load_time <= '2024-01-01 00:00:00'，锁定数据后对比结果。
• 检查psycopg2连接配置：确认Python连接是否设置了search_path导致默认schema不同，或client_encoding不一致引发字符编码转换问题，导致部分customerid被判定为不同值。
• 验证工具结果准确性：部分SQL工具会对大数字进行格式化（如科学计数法）或截断，导致视觉差异。直接查看原始返回值，不要依赖工具的展示界面。

内容的提问来源于stack exchange，提问作者vizyourdata