Flask+PostgreSQL多API调用后数据库崩溃排查与解决求助

问题背景 #

Flask+Nginx部署在单个Docker容器，PostgreSQL单独部署在另一个容器。多数页面调用3-4个API可正常响应，但某页面调用7个API时，前5个正常，最后2个出现504网关超时错误。日志显示SQLAlchemy抛出psycopg2.OperationalError: server closed the connection unexpectedly，该错误出现在一条原本可正常执行的简单查询中。单独调用最后2个API无异常，但串行调用7个API时问题复现。

相关配置信息 #

SQLAlchemy引擎配置

from sqlalchemy import create_engine
engine = create_engine('postgresql+psycopg2://postgres:postgres@localhost:5432/customer',
    pool_size=20, max_overflow=10,
)

PostgreSQL容器日志片段

LOG:  statement: BEGIN
LOG:  statement: <other query>
LOG:  statement: ROLLBACK
LOG:  statement: BEGIN
LOG:  statement: <other query>
LOG:  statement: ROLLBACK
LOG:  statement: BEGIN
LOG:  statement: <other query>
LOG:  statement: ROLLBACK
LOG:  statement: ROLLBACK

Docker Compose配置（PostgreSQL部分）

version: "3.4"
services:
    postgres:
        container_name: postgres_db
        restart: unless-stopped
        image: postgres:9.6.24
        command: ["postgres", "-c", "logging_collector=on", "-c", "log_directory=./postgres_db_logs", "-c", "log_filename=postgresql.log", "-c", "log_statement=all"]
        ports:
        - "5432:5432"
        environment:
        POSTGRES_USER: 'postgres'
        POSTGRES_PASSWORD: 'postgres'
        volumes:
        - ./pgdata:/var/lib/postgresql/data

API的Session管理

初始化代码：

session = sessionmaker(bind=engine)
self.Session = scoped_session(session)

单个API代码片段：

def get_customer_data(self):
    session = self.Session()
    try:
            ....
    except:
            ....
    finally:
            session.close()
            return data

排查方向 #

• 数据库连接池耗尽：串行调用7个API时，每个API可能占用多个连接，若连接未正确回收，会导致后续请求无法获取连接超时。
• PostgreSQL连接数/资源限制：数据库默认连接数或容器内存、CPU不足，导致数据库主动断开连接。
• Scoped Session未正确清理：scoped_session未与Flask请求上下文绑定，导致连接未正确回收到连接池。
• 容器间网络超时：并发请求过多时，Docker容器间的网络连接被中断。
• PostgreSQL异常终止：数据库因OOM或其他故障主动终止连接。

解决方法 #

1. 优化SQLAlchemy连接池配置 #

添加连接有效性检查和自动回收机制，避免无效连接占用：

from sqlalchemy import create_engine
engine = create_engine('postgresql+psycopg2://postgres:postgres@localhost:5432/customer',
    pool_size=20, max_overflow=10,
    pool_recycle=300,  # 5分钟自动回收闲置连接
    pool_pre_ping=True  # 获取连接前检查有效性，失效则重建
)

2. 修正Scoped Session的生命周期管理 #

在Flask中，scoped_session需与请求上下文绑定，添加请求钩子确保会话被正确清理：

@app.teardown_appcontext
def shutdown_session(exception=None):
    self.Session.remove()

替代原API中单独的session.close()，确保每个请求结束后连接回收到池。

3. 检查并调整PostgreSQL资源配置 #

• 进入PostgreSQL容器执行SHOW max_connections;，若默认100的连接数不足，修改postgresql.conf中的max_connections参数并重启容器。
• 用docker stats postgres_db查看容器资源使用情况，若内存/CPU不足，在docker-compose中添加资源限制：

  postgres:
    # 其他配置...
    deploy:
      resources:
        limits:
          memory: 2G
          cpus: '1.0'
  

4. 优化API调用逻辑 #

• 将7个API的查询合并为一个API，减少HTTP请求和数据库连接开销，避免串行调用的连接累积。
• 若必须保留串行调用，在请求间添加短暂延迟（如100ms），避免瞬间占用过多连接。

5. 排查PostgreSQL完整日志 #

进入PostgreSQL容器查看postgres_db_logs/postgresql.log的完整内容，确认是否存在OOM、连接中断的具体错误信息，进一步定位根因。

内容的提问来源于stack exchange，提问作者Vishak Raj