捕获psycopg2.DatabaseError后表中原有数据丢失，求排查原因

psycopg2的copy_from默认是向表中追加数据，不会主动删除原有数据。你遇到的异常后数据消失，大概率和copy_from本身无关，而是事务处理逻辑或其他外部因素导致的，具体分析和修复方案如下：

可能的原因及解决办法 #

• 事务未显式回滚：
  你的异常处理块中没有执行conn.rollback()。虽然PostgreSQL在连接关闭时会自动回滚未提交事务，但某些边缘场景（如连接异常中断）可能导致事务状态异常。如果copy_from执行后、conn.commit()前抛出异常，未提交的写入操作可能引发数据不一致，甚至被误判为原有数据丢失。
  修复：在except块中添加显式回滚：

  except (Exception, psycopg2.DatabaseError) as error:
      print(error)
      if conn is not None:
          conn.rollback()  # 回滚未提交的事务
  

• 表存在自动清理的触发器/约束：
  如果传入的df是空的，copy_from不会写入任何数据，但如果目标表配置了自动清理旧数据的触发器（比如基于时间的删除）、或外键约束导致的级联删除，可能在执行操作时触发数据删除。
  排查：检查目标表的触发器和约束配置，确认是否存在自动删除逻辑。

• 表参数传错或存在其他未处理的操作：
  确认调用函数时传入的table参数是否正确，是否误指向了其他被删除数据的表；同时检查调用该函数前后，是否有删除/截断表数据的操作未提交或未正确处理。

• 开启了自动提交模式：
  如果你的数据库配置params中开启了autocommit=True，copy_from执行后会立即提交数据，若后续代码抛出异常，你可能误以为是异常导致数据丢失，但实际是之前的操作已经提交了错误数据，或其他操作影响了数据。
  排查：打印params确认是否开启了自动提交。

优化后的完整代码 #

def copy_from_stringio(df, table):
    conn = None
    cur = None
    try:
        params = config()
        conn = psycopg2.connect(**params)
        cur = conn.cursor()
        
        buffer = StringIO()
        df.to_csv(buffer, index=False, header=False, sep=';')
        buffer.seek(0)
        
        cur.copy_from(buffer, table, sep=";")
        conn.commit()
        print("copy_from_stringio() done")
        
    except (Exception, psycopg2.DatabaseError) as error:
        print(error)
        if conn is not None:
            conn.rollback()  # 显式回滚事务
    finally:
        if cur is not None:
            cur.close()
        if conn is not None:
            conn.close()

内容的提问来源于stack exchange，提问作者istwine