Psycopg3连接池长时间闲置后连接全部丢失问题求助

问题核心现象 #

• 独立持久化连接可稳定运行数日无异常
• 使用Psycopg3连接池时：
  • 初始阶段请求正常，连接池维持配置的初始大小（如5）
  • 闲置约1小时后，pg_stat_activity显示存在5个空闲连接
  • 发起新请求时，所有连接瞬间消失，触发Pool Timeout，且连接池无法自动重建连接
  • 调整max_timeout至900秒、修改min_size/max_size（如10/20等组合）均无法解决问题

排查与修复建议 #

1. 检查PostgreSQL端连接超时配置

   • 数据库端的闲置连接回收策略可能主动断开连接，导致连接池中的连接失效：

     -- 查询关键超时参数
     SHOW idle_in_transaction_session_timeout;
     SHOW tcp_keepalives_idle;
     SHOW tcp_keepalives_interval;
     SHOW tcp_keepalives_count;
     

   • 如果idle_in_transaction_session_timeout设置过短，或TCP保活参数配置不合理，会导致数据库主动断开闲置连接

2. 启用连接池健康检查机制

   • 配置连接池在获取连接时自动验证连接可用性，避免使用失效连接：

     from psycopg_pool import ConnectionPool
     
     def validate_connection(conn):
         try:
             conn.execute("SELECT 1")
             return True
         except:
             return False
     
     pool = ConnectionPool(
         conninfo="dbname=your_db user=your_user",
         min_size=5,
         max_size=15,
         check=validate_connection,  # 获取连接前验证
         max_idle=300  # 缩短空闲连接保留时长，减少失效概率
     )
     

3. 排查网络层连接中断

   • 检查应用与数据库之间的防火墙、负载均衡器是否存在闲置TCP连接超时策略，这类设备会主动断开长时间无数据交互的连接
   • 可通过tcpdump抓取网络包，确认连接断开的发起方是数据库还是中间网络设备

4. 升级Psycopg3版本

   • 部分旧版本Psycopg3的连接池存在连接失效感知的BUG，尝试升级至最新稳定版：

     pip install --upgrade psycopg[pool]
     

附相关排查材料 #

• 应用侧连接池初始化及请求处理代码片段
• 应用触发Pool Timeout时的日志信息
• PostgreSQL debug3级别的连接日志

内容的提问来源于stack exchange，提问作者comte