Celery Worker闲置数分钟后停止消费任务问题求助

问题分析 #

这个ValueError('not enough values to unpack (expected 3, got 1)')错误发生在Kombu处理Redis中的Exchange路由表时，核心原因是Redis存储的Exchange绑定数据格式不符合预期（原本应为包含3个元素的元组，实际仅存1个元素）。结合日志中的sync with celery@xxx记录，推测是Worker闲置后Redis连接异常，导致节点同步类的控制命令写入了错误格式的路由数据，最终触发解析失败。

解决方案 #

1. 修复Kombu版本兼容性 #

Celery 5.3.6搭配的部分Kombu版本存在Redis Exchange数据处理的bug，建议锁定Kombu到5.3.7版本（该版本修复了多个路由表解析相关问题）：

pip install kombu==5.3.7

2. 调整Worker启动参数 #

当前启动命令中--without-heartbeat参数与配置里的broker_heartbeat=30冲突，会导致Redis闲置连接无法维持心跳，进而引发数据异常。移除该参数：

# docker-compose.yml 中修改command字段
command: celery -A core worker --without-mingle --without-gossip --pool=solo -l info -Q celery,celery:1,celery:2,celery:3

3. 清理Redis中的异常Exchange数据 #

登录Redis实例，删除所有Kombu相关的Exchange键（这些键存储了异常的路由数据）：

DEL kombu:exchange:*

执行后重启所有Celery Worker，Worker会自动重新创建格式正确的Exchange路由表。

4. 优化Redis连接配置 #

在celery.py中添加/调整以下配置，增强连接稳定性：

# 提高心跳检查频率，及时检测闲置连接状态
app.conf.broker_heartbeat_checkrate = 2
# 启用连接池，避免频繁创建销毁连接
app.conf.broker_pool_limit = 10
# 增加连接重试次数，适配Redis Cloud的闲置回收策略
app.conf.broker_connection_max_retries = 10

5. 禁用Worker节点远程控制 #

进一步禁用节点间的控制命令通信，避免同步操作写入异常数据：

# celery.py中添加该配置
app.conf.worker_enable_remote_control = False

验证步骤 #

1. 升级Kombu版本并更新项目依赖
2. 修改docker-compose启动命令，移除--without-heartbeat参数
3. 清理Redis中的Exchange异常键
4. 重启所有Celery Worker
5. 闲置数分钟后提交任务，验证是否再触发错误

内容的提问来源于stack exchange，提问作者HackZero