AppEngine部署Django应用加载pickle大文件时出现502 Bad Gateway错误

根因分析 #

从你提供的运行日志可以看到，POST请求发起16秒后实例就收到term信号被强制关停，这是Google App Engine 灵活环境的健康检查机制触发的结果：你仅调整了gunicorn的超时时间，但未修改GAE默认的健康检查阈值，加载大体积pickle文件时gunicorn worker被阻塞，无法响应平台的健康检查请求，平台判定实例故障直接销毁实例，最终返回502错误。
另外40MB的pickle文件反序列化后内存占用通常是原文件的3~10倍，也需要确认内存占用是否超过实例配置的上限。

解决方案 #

1. 放宽GAE健康检查阈值 #

在app.yaml中添加如下配置，避免实例在处理高耗时操作时被误杀：

readiness_check:
  path: "/health_check"
  check_interval_sec: 30
  timeout_sec: 20
  failure_threshold: 5
  success_threshold: 2
  app_start_timeout_sec: 300

liveness_check:
  path: "/health_check"
  check_interval_sec: 30
  timeout_sec: 20
  failure_threshold: 5

同时在Django路由中新增一个简单的/health_check接口，直接返回200状态码即可。

2. 预加载pickle文件，避免请求过程中加载 #

不要在POST请求的处理逻辑中执行pickle加载操作，否则每次请求都会触发一次IO和反序列化，既耗时又容易阻塞请求。可以将加载逻辑放到wsgi.py中，应用启动时就将文件加载到内存，请求处理时直接调用内存变量即可：
修改django_naimai/wsgi.py文件：

import os
import pickle
from django.core.wsgi import get_wsgi_application

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "django_naimai.settings")

# 应用启动时预加载pickle数据
with open("你的pickle文件相对路径", "rb") as f:
    PICKLE_DATA = pickle.load(f)

application = get_wsgi_application()

后续业务逻辑需要使用数据时，直接从wsgi模块导入PICKLE_DATA全局变量即可。如果你已经在gunicorn参数中添加了--preload，该加载逻辑只会在主进程执行一次，多个worker共享数据，额外节省内存。

3. 更换gunicorn worker类型 #

你当前使用的是默认的sync同步worker，单线程处理请求，只要有一个请求阻塞就会影响所有其他请求（包括健康检查请求），更换为gevent异步worker可以避免该问题：
首先在requirements.txt中添加gevent依赖，然后修改app.yaml的entrypoint配置：

entrypoint: gunicorn -b :$PORT --log-level=debug --timeout=120 --worker-class=gevent --workers=2 django_naimai.wsgi

4. 排查内存不足问题 #

如果调整完上述配置问题仍然存在，可以在pickle加载逻辑前后添加内存占用日志，确认反序列化后的内存占用是否超过你配置的2.3GB上限，如果超出可以调大app.yaml中resources下的memory_gb参数。

内容的提问来源于stack exchange，提问作者NLPPassionate