向远程PostgreSQL插入数据时遇malloc Double Free Error求助

针对你在M2 MacBook Air上使用psycopg2操作远程PostgreSQL时随机出现的malloc: double free错误，以下是具体的排查和修复步骤：

1. 更换psycopg2的安装包类型 #

M2的ARM架构下，源码编译的psycopg2可能存在底层内存管理的兼容性问题，建议改用预编译的二进制包：

• 卸载现有psycopg2，安装二进制版本：

  pip uninstall psycopg2
  pip install psycopg2-binary==2.9.9
  

• 或者直接升级到psycopg3（psycopg），它对ARM架构的支持更完善：

  pip install psycopg[binary]
  

  升级后需要调整代码中的导入语句：

  import psycopg as pg
  

2. 修复代码中的异常处理和资源操作问题 #

原代码的异常处理和cursor操作存在潜在问题，可能加剧内存异常：

• 异常块中rollback()后不需要再执行commit()，这会导致连接状态混乱，删除多余的conn.commit()：

  except (Exception) as error:
      conn.rollback()
      print("Error while connecting to PostgreSQL:", error)
      return False, error
  

• 当isread=False且return_data=True时，如果SQL操作没有RETURNING子句，cursor.description会是None，直接访问会引发错误，添加判断：

  else:
      conn.commit()
      if return_data and cursor.description is not None:
          data = [dict(zip([column[0] for column in cursor.description], row)) for row in cursor.fetchall()]
          return True, json.dumps(data)
      return True, 'OK'
  

3. 使用连接池减少连接创建销毁次数 #

频繁创建和关闭数据库连接可能导致底层资源释放异常，改用连接池复用连接：

from psycopg2 import pool

# 全局初始化连接池
connection_pool = pool.SimpleConnectionPool(
    minconn=1,
    maxconn=10,
    host=config.DB_HOST,
    port=config.DB_PORT,
    user=config.DB_USER,
    password=config.DB_PASS,
    database=config.DB_NAME
)

def get_db_conn():
    return connection_pool.getconn()

def db_operations(query, isread=True, return_data=False):
    conn = None
    cursor = None
    try:
        conn = get_db_conn()
        cursor = conn.cursor()
        # ... 原有逻辑 ...
    finally:
        if cursor:
            cursor.close()
        if conn:
            connection_pool.putconn(conn)  # 放回连接池，而非关闭

4. 确保本地libpq版本与远程服务器兼容 #

M2上的PostgreSQL客户端库（libpq）版本如果与远程服务器差异过大，可能引发内存问题：

• 安装与远程服务器同大版本的PostgreSQL客户端：

  brew install postgresql@14
  

• 确保psycopg2链接到这个版本的libpq，可通过以下命令验证：

  otool -L $(python -c "import psycopg2; print(psycopg2.__file__)") | grep libpq
  

内容的提问来源于stack exchange，提问作者user23330584