Celery Worker遇SIGKILL报错（forkPoolworker-5进程退出）求助

环境：Python 3.8，Django 4.0.4，Celery 5.2.1

在使用Python/Django/Celery执行任务时，通过SQL从Hive获取数据阶段，Celery Worker抛出错误：process 'forkPoolworker-5' pid:111 exited with 'signal 9 (SIGKILL)'，导致任务未完成且TCP连接断开。

已尝试的配置：

CELERYD_MAX_TASKS_PER_CHILD = 1  # 单worker最多任务使用数
CELERYD_CONCURRENCY = 3  # 单worker最大并发数
CELERYD_MAX_MEMORY_PER_CHILD = 1024*1024*2  # 单任务可占用2G内存
CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 * 3

-Ofair

1. 修正内存限制配置（核心问题） #

Celery 5.x中CELERYD_MAX_MEMORY_PER_CHILD的单位是MB，不是字节。你当前设置的1024*1024*2等于2097152MB（约2048TB），完全起不到内存限制作用，直接改成2048（代表2GB）即可让内存限制生效。

2. 排查内存占用峰值 #

• 用top或htop实时监控任务执行时的服务器内存使用，确认是否是系统OOM Killer（内存不足时的进程杀手）触发了SIGKILL。
• 如果Hive查询返回数据量极大，禁止一次性加载全量数据到内存，改用分批读取：比如给Hive SQL加分页逻辑，或用客户端库的流式读取功能（如pandas.read_sql的chunksize参数）。示例：

import pandas as pd
from pyhive import hive

conn = hive.Connection(host='hive-host', port=10000)
# 分块读取，每次处理1000行
for chunk in pd.read_sql('SELECT * FROM your_table WHERE condition', conn, chunksize=1000):
    process_chunk(chunk)  # 替换为你的数据处理逻辑

3. 调整Celery Worker进程配置 #

• 降低CELERYD_CONCURRENCY到1或2，减少并发任务对内存的争抢，避免系统总内存耗尽。
• 保留CELERYD_MAX_TASKS_PER_CHILD = 1，确保每个任务执行后销毁子进程，彻底释放内存。

4. 优化Hive查询逻辑 #

• 精简SQL：只查询需要的字段，添加WHERE条件过滤数据，优先查询分区表的指定分区，避免全表扫描。
• 如果Hive端支持，开启查询结果压缩，减少数据传输量和内存占用。

5. 系统层面排查 #

• 查看系统OOM日志（通常在/var/log/messages或/var/log/syslog），确认是否是系统因内存不足杀死了Celery进程。若服务器内存长期不足，考虑升级硬件。

内容的提问来源于stack exchange，提问作者黄志明