Celery 5.1.2 worker内存占用过高原因及优化方案

为什么Celery worker内存占用超过100MB #

• 基础运行开销：Celery是基于Python实现的分布式任务框架，Python3.9解释器本身空载就需要占用10~15MB内存，加上Celery核心依赖（kombu、billiard等第三方库）、你项目中导入的任务模块（dolphin.tasks.tasks及关联业务代码）加载完成后，空载的Celery worker进程基础内存就已经达到70~90MB，这是正常的基础开销。
• 进程模型开销：你当前使用的是Celery默认的prefork多进程并发模型，每个工作子进程都会复制父进程的内存空间，即便有写时复制机制，每个子进程也会独立持有模块、全局对象等资源的副本，导致每个子进程内存都超过100MB。
• 任务残留/内存泄漏：如果没有配置进程自动重启参数，worker子进程处理完任务后残留的临时对象、未释放的资源会持续累积，进一步推高内存占用。

能不能把内存降到10MB以内 #

完全不可能。仅Python解释器本身的基础开销就已经接近10MB，加上Celery运行必须的核心依赖加载，最低内存开销也不会低于50MB，不存在降到10MB以内的可行性。

可行的内存优化方案 #

• 切换协程并发模型：将默认的prefork多进程模型替换为gevent/eventlet协程模型，仅需要1个主进程就能承载多并发任务，可大幅降低内存开销。启动时添加参数 -P gevent 即可（需先安装gevent库）。
• 配置进程自动重启：启动时添加参数 --max-tasks-per-child=100（数值可根据业务调整），每个子进程处理完指定数量任务后自动退出重启，释放残留内存，避免内存持续上涨。
• 精简模块导入：任务模块中避免全局导入无用依赖，尽量在任务函数内部按需导入，不要在全局作用域初始化大对象，减少预加载的资源体积。
• 合并worker实例：如果任务量级不高，无需单独启动多个worker监听不同队列，可合并为单个worker监听多个队列，减少总进程数，降低整体内存占用。
• 调低日志级别：将当前的INFO日志级别调整为WARN或ERROR，减少日志缓存占用的内存（优化幅度较小）。

内容的提问来源于stack exchange，提问作者Dolphin