早7点高峰时段RedShift与Pandas DataFrame数据不一致求助

问题现象 #

• 早7点业务高峰时段运行脚本查询RedShift数据库，导出的DataFrame和SQL直接查询结果存在两处不一致：
  1. field10_No字段值存在细微差异（比如SQL返回-29，DataFrame里是-28），其他字段均正常；
  2. 部分场景下Pandas返回的记录数少于RedShift查询结果（比如RedShift返回4608条，DataFrame仅3120条）。
• 早8点运行完全相同的代码，记录数和字段数据完全匹配。

执行代码 #

query = '''SELECT  field1,field2,field3,field4,field5,field6,field7_No,field8_No,
field9_date,field10_No,field1_number 
FROM schema.TableName 
;''' 

data = Redshift_connection(query)
noforecords = len(data.index)
print('noforecords :' +str(noforecords))

可能的原因 #

1. 高峰时段脏读导致数据不一致
   RedShift早高峰有大量写入/更新操作时，如果查询使用了未提交读隔离级别，会读取到未提交的中间数据：

• field10_No数值差异：该字段可能正在被更新，查询刚好捕获到了更新过程中的临时值；
• 记录数减少：部分插入/删除的事务尚未提交，导致这部分数据未被纳入查询结果。

2. 数据类型转换时精度丢失
   如果field10_No是RedShift中的NUMERIC/DECIMAL类型，Pandas读取时可能因精度处理逻辑出现微小偏差，高峰时段的并发写入刚好触发了这种边界情况（比如读取到了计算过程中的临时浮点值）。

3. 查询超时被截断
   高峰时段RedShift资源紧张，查询可能因超时被部分截断；或者RedShift_connection函数内部未处理异常，导致只返回了部分结果集但未抛出错误。

4. 分区表同步问题
   若schema.TableName是分区表，高峰时段可能正在进行分区数据的刷新或加载，查询时部分分区数据尚未同步完成，导致结果不完整。

解决办法 #

1. 使用更高的事务隔离级别
   将查询的隔离级别设置为READ COMMITTED（RedShift默认级别，若连接配置被修改则需手动指定），确保只读取已提交的完整数据：

• 若使用psycopg2连接，添加配置参数：

  conn = psycopg2.connect(你的连接参数, options='-c default_transaction_isolation=read committed')
  

• 或在查询前执行SQL语句设置隔离级别：

  SET SESSION CHARACTERISTICS AS TRANSACTION ISOLATION LEVEL READ COMMITTED;
  

2. 强制指定数据类型避免精度丢失
   读取数据时为field10_No指定明确的数据类型（假设RedShift_connection内部使用pandas.read_sql）：

data = pd.read_sql(query, conn, dtype={'field10_No': 'int64'})

若字段为带小数的数值类型，调高Pandas的显示精度：

pd.set_option('display.precision', 10)

3. 添加查询超时与异常捕获
   在RedShift_connection函数中增加超时设置和异常捕获，确保查询异常能被及时发现：

def Redshift_connection(query):
    # 设置连接超时（30秒）与语句超时（60秒，单位毫秒）
    conn = psycopg2.connect(你的连接参数, connect_timeout=30, options='-c statement_timeout=60000')
    try:
        data = pd.read_sql(query, conn)
    except Exception as e:
        print(f"查询执行失败：{e}")
        raise  # 抛出异常以便上层处理
    finally:
        conn.close()
    return data

同时可以打印查询执行时间，确认高峰时段是否存在超时情况。

4. 避开分区数据加载窗口
   如果是分区表，查询时指定明确的分区范围，避免读取正在加载的分区：

SELECT ... FROM schema.TableName WHERE partition_date = '目标日期';

联系DBA确认高峰时段是否有ETL任务操作该表，调整脚本执行时间或避开任务窗口。

内容的提问来源于stack exchange，提问作者Rahul Nadkarni