短时间重跑pandas数据处理脚本出现transaction_id重复或缺失问题

核心根因判定 #

该问题不属于硬件内存故障，90%以上的概率是运行会话残留或者数据库连接资源未正确释放导致的，完全符合短时间重跑异常、间隔一段时间后恢复、调试时无异常的特征。

可能性1：VSCode运行环境变量残留 #

VSCode的Python扩展默认会复用运行会话，脚本执行结束后全局变量会一直保存在内存中，第二次执行时如果变量没有被完全覆盖，就会出现新旧数据混用的情况。

解决方案： #

• 优先使用独立终端进程执行脚本，不要使用VSCode的「在交互窗口运行文件」功能
• 如果必须使用交互窗口，在脚本开头添加重置逻辑：

import gc
# 清理所有pandas相关的残留变量
for var_name in list(globals().keys()):
    if var_name.startswith('df') or 'transaction' in var_name:
        del globals()[var_name]
gc.collect()

可能性2：Postgres连接/游标资源未释放 #

如果代码中使用了全局的数据库连接对象，第一次查询后游标没有正确关闭、连接没有主动释放，短时间内第二次查询会复用旧的连接上下文，导致拉取的数据不完整或者重复。

解决方案： #

使用上下文管理器管理数据库连接，每次查询结束后主动销毁连接对象：

import pandas as pd
from sqlalchemy import create_engine

def load_pg_data(query: str) -> pd.DataFrame:
    engine = create_engine("postgresql://你的数据库连接串")
    with engine.connect() as conn:
        df = pd.read_sql(sql=query, con=conn)
        # 显式提交避免快照残留
        conn.commit()
    # 销毁连接引擎
    engine.dispose()
    return df

可能性3：pandas操作视图未生成副本 #

如果数据处理过程中没有显式生成DataFrame副本，修改操作会作用在原始数据的视图上，残留的视图引用会导致第二次运行时数据被意外篡改。

解决方案： #

所有过滤、切片操作后显式调用copy()生成独立副本：

# 错误写法
filtered_df = raw_df[raw_df['status'] == 'success']
# 正确写法
filtered_df = raw_df[raw_df['status'] == 'success'].copy()

快速验证方法 #

可以直接在其他设备上运行相同脚本，如果另一台设备上重复执行无异常，即可100%确认是本地运行环境的会话残留问题。

内容的提问来源于stack exchange，提问作者Ottmar Vargas