Celery 4.4.7对接AWS Redis broker断开后重连耗时久导致任务停止处理

• 第一阶段17分钟无响应：Celery/Redis客户端的TCP连接保活配置不合理，AWS Redis默认空闲连接回收时间为300秒，连接被回收后Celery侧没有及时检测到死链，一直等到TCP默认超时才抛出错误。
• 第二阶段15分钟阻塞：Celery worker重连后的mingle（集群同步）步骤没有合理的超时限制，在节点状态异常时容易长时间卡住。

1. 优化Redis连接超时与保活配置 #

在Celery配置文件中添加如下参数：

# 缩短broker连接超时时间，避免长时间等待死链响应
BROKER_CONNECTION_TIMEOUT = 10
# 开启broker心跳检测，每15秒检测一次连接状态
BROKER_HEARTBEAT = 15
BROKER_HEARTBEAT_CHECKRATE = 2
# 配置Redis传输层参数，匹配AWS Redis的连接回收策略
BROKER_TRANSPORT_OPTIONS = {
    'socket_timeout': 30,
    'socket_connect_timeout': 10,
    'socket_keepalive': True,
    'socket_keepalive_options': {
        # 空闲240秒开始发送保活包，早于AWS Redis 300秒的回收阈值
        'TCP_KEEPIDLE': 240,
        # 每15秒发送一次保活探测
        'TCP_KEEPINTVL': 15,
        # 3次探测失败就判定连接失效
        'TCP_KEEPCNT': 3,
    },
    # 关闭Redis客户端默认健康检查，避免和Celery心跳逻辑冲突
    'health_check_interval': 0,
}

2. 禁用或优化mingle同步逻辑 #

mingle是Celery用于集群worker之间同步任务状态的功能，绝大多数业务场景下没有强依赖，可以直接禁用避免不必要的阻塞：
启动worker时添加--without-mingle参数，或者在配置文件中添加：

CELERYD_WITHOUT_MINGLE = True

如果确实需要保留mingle功能，可以添加同步超时限制：

CELERYD_MINGLE_TIMEOUT = 10

3. 补充监控兜底机制 #

配置监控规则，当worker出现连续3次心跳丢失、或者任务队列堆积超过阈值时，自动重启worker进程，避免长时间无服务。
针对AWS环境也可以配置ElastiCache连接监控告警，提前发现Redis侧的连接异常。

4. 版本升级修复已知bug #

你当前使用的Celery 4.4.7版本存在多个已知的Redis broker重连缺陷，若条件允许可以升级到Celery 5.2.x以上的LTS版本，官方已经修复了大部分连接检测、重连相关的逻辑问题。

内容的提问来源于stack exchange，提问作者Salvatore Iovene