同一服务器部署Nginx、Python、Docker及Node应用出现性能异常问题

• 服务器环境：Ubuntu 20.04，已部署Nginx、Docker、Node.js
• 运行容器：共6个，其中2个Node应用容器运行正常，4个Python应用容器存在故障
• 故障表现：当网站有10-20位用户在线时，服务器响应变慢，部分API返回502 Bad Gateway错误
• 资源排查：通过Netdata监控应用及PostgreSQL数据库服务器，整体负载并不高
• 服务器配置：4核CPU、8GB内存
• 相关Nginx配置示例：

server {
    server_name api.domain.com;

    location / {
        proxy_pass http://0.0.0.0:7999;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header X-Forwarded-Port $server_port;
        client_max_body_size 1000M;
    }
}

1. 优化Nginx超时配置 #

当前Nginx未设置代理超时参数，若Python应用响应较慢，Nginx会提前断开连接触发502错误。在location /块中添加以下配置：

proxy_connect_timeout 60s;
proxy_send_timeout 60s;
proxy_read_timeout 60s;

2. 检查Docker容器资源限制 #

默认Docker容器无CPU/内存配额，可能单个Python容器占用过多资源导致其他容器无法正常处理请求。可给每个Python容器设置合理的资源限制：

# 启动容器时添加资源限制示例
docker run --cpus="0.5" --memory="1g" your-python-app-image

同时使用docker stats命令实时查看容器资源占用，确认是否有单容器出现局部资源瓶颈。

3. 排查数据库连接池配置 #

Python应用若未正确配置数据库连接池，高并发下会出现连接耗尽，导致请求阻塞。以SQLAlchemy为例，调整连接池参数：

from sqlalchemy import create_engine

engine = create_engine(
    'postgresql://username:password@db-host:5432/db-name',
    pool_size=10,  # 保持的持久连接数
    max_overflow=20  # 允许临时创建的额外连接数
)

同时登录PostgreSQL执行SELECT count(*) FROM pg_stat_activity;，确认当前连接数是否接近max_connections上限（默认100）。

4. 优化Nginx upstream负载均衡 #

若多个Python容器提供相同服务，应配置upstream块实现负载均衡，避免单点故障并提升并发能力：

upstream python_api {
    server 0.0.0.0:7999;
    server 0.0.0.0:8000;  # 添加其他Python容器端口
    keepalive 32;  # 保持长连接，减少TCP握手开销
}

server {
    server_name api.domain.com;

    location / {
        proxy_pass http://python_api;
        # 保留原有的proxy_set_header等配置
        proxy_connect_timeout 60s;
        proxy_send_timeout 60s;
        proxy_read_timeout 60s;
        client_max_body_size 1000M;
    }
}

5. 排查Python应用性能瓶颈 #

• 使用cProfile分析应用的函数执行耗时，定位慢操作：

  python -m cProfile -o profile_stats.py your_app.py
  

• 使用py-spy工具在不重启应用的情况下采样分析性能：

  py-spy top --pid $(docker inspect -f '{{.State.Pid}}' your-python-container)
  

• 检查应用是否存在同步阻塞操作（如同步IO请求），可改为异步处理提升并发能力。

内容的提问来源于stack exchange，提问作者Md. Mostafijur Rahman