Flower如何判定Celery worker在线/离线状态？worker离线代表什么？

1. Celery worker 离线的含义 #

• worker 离线本质代表 Flower 已经无法感知到对应 Celery worker 节点的存活信号，此时该 worker 会被判定为不具备承接新任务的能力。
• 正常运行的 worker 会持续向 broker（你当前使用的 RabbitMQ）发送心跳、上报任务执行状态，当 worker 进程崩溃、网络隔离导致无法和 broker 通信、worker 进程主动优雅关停时，都会进入离线状态。
• 你遇到的频繁在线/离线切换问题，大多是网络波动导致 worker 和 broker、或者 Flower 和 broker 之间的通信延迟超过阈值，或是 worker 的心跳发送间隔和 Flower 的超时判定阈值不匹配导致的误判。

2. Flower 判定 worker 在线/离线的逻辑 #

Flower 的状态判定完全依赖从 broker 获取的 worker 心跳数据，核心逻辑如下：

• Celery worker 启动后，会默认每隔 2秒 向 broker 的 celeryev 事件交换器发送 worker-online 事件；运行过程中每隔固定间隔（默认同样为2秒）发送 worker-heartbeat 事件；关停时主动发送 worker-offline 事件。
• Flower 启动后会持续订阅 broker 的所有 Celery 事件，每收到一次目标 worker 的 worker-online 或 worker-heartbeat 事件，就会刷新该 worker 的最后存活时间戳，标记其为在线状态。
• Flower 内置默认 10秒 的超时阈值：如果某个 worker 距离上次收到心跳事件的间隔超过这个阈值，就会自动将该 worker 标记为离线状态，直到下一次收到心跳事件再恢复为在线。
• 你当前的 Docker 跨容器部署场景下，如果容器之间的网络存在延迟抖动，或者 RabbitMQ 存在消息堆积导致心跳事件延迟投递，很容易触发这个10秒超时阈值，出现状态频繁切换的现象。

快速排查建议 #

• 检查 Celery worker 的心跳配置：确认 --heartbeat-interval 参数没有被设置得过大，默认2秒为通用合理值。
• 调整 Flower 的超时阈值：启动 Flower 时添加 --purge_offline_workers=30 参数，将超时阈值调整为30秒，降低网络波动带来的误判概率。
• 检查 Docker 容器之间的网络连通性：确认 Flower、Celery worker、RabbitMQ 三个容器之间的网络延迟正常，没有丢包、端口访问限制问题。

内容的提问来源于stack exchange，提问作者Martin Thoma