Celery应用进程长期驻留内存占用持续升高问题排查求助

配置与现象说明 #

启动Service配置 #

ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
  -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
  --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

核心配置项 #

CELERYD_OPTS="--time-limit=600 --concurrency=5 -Q 'myqueue'"

异常现象 #

执行ps -ef | grep ${CELERY_APP}可见多个Worker进程，部分进程已驻留数周，内存占用随时间持续上升；初始内存占用高的应用，其长期驻留进程的内存增长幅度也更大。底层消息队列使用RabbitMQ。

可能原因 #

• Python代码内存泄漏：任务代码中存在未释放的资源，比如全局变量持续累积数据、未关闭的文件/数据库连接、对象循环引用等，长期运行导致内存不断堆积。
• Worker缺乏自动重启机制：当前仅配置了任务超时时间--time-limit=600，但未限制Worker的生命周期或最大任务处理数，进程长期驻留会让内存泄漏持续累积。
• 大对象内存残留：任务处理大文件、数据集等对象时，Python垃圾回收可能无法及时释放内存，尤其是对象被全局引用或循环引用时，内存会持续占用。
• 第三方依赖库泄漏：使用的数据库驱动、数据处理库等第三方组件存在内存泄漏问题，长期运行会导致Worker内存增长。

检查与修复方向 #

1. 排查任务代码内存泄漏 #

• 检查任务中是否有全局变量（如列表、字典）持续追加数据未清理
• 确认任务执行后是否释放了所有资源：数据库连接、文件句柄、网络连接等，需确保资源被正确关闭
• 使用tracemalloc或memory_profiler工具跟踪任务执行过程，定位具体的内存泄漏点

2. 配置Worker自动重启 #

• 添加--max-tasks-per-child=N参数（例如--max-tasks-per-child=100），让Worker处理指定数量的任务后自动重启，避免内存持续累积
• 配置--max-memory-per-child=M（例如--max-memory-per-child=512000，单位为KB），当Worker内存占用超过阈值时自动重启

3. 优化任务内存使用 #

• 避免在任务中一次性加载大对象，尽量分块处理数据
• 及时删除不再使用的变量，或用del关键字显式释放，触发垃圾回收
• 处理大数据集时，优先使用生成器而非列表，减少内存占用

4. 检查第三方依赖 #

• 确认使用的第三方库版本是否存在已知内存泄漏问题，尝试升级到最新稳定版
• 替换存在泄漏问题的依赖库，或寻找功能替代方案

5. 验证Celery配置有效性 #

• 确认--time-limit是否正常生效，超时任务是否被正确终止，避免僵尸进程或内存残留
• 检查multi start启动的Worker数量是否符合预期，是否存在未被管理的异常进程

内容的提问来源于stack exchange，提问作者Fabri Ba