K8s中Celery Beat/Worker报Run client channel backup poller错误的解决方法

我在Kubernetes环境中开发一个使用Celery Beat和Worker的项目，当前配置代码如下：

app = Celery('celery-worker',
             broker=RABBITMQ_URL,
             backend=REDIS_URL
             )
app.conf.update(
    result_expires=3600,
)

启动命令为：

celery -A app worker -B -l INFO

运行后，Celery Beat日志中出现大量如下错误：

backup_poller.cc:138] Run client channel backup poller: UNKNOWN:pollset_work {created_time:"2022-12-10T15:25:01.080085021+03:30", children:[UNKNOWN:Bad file descriptor {created_time:"2022-12-10T15:25:01.080072267+03:30", errno:9, os_error:"Bad file descriptor", syscall:"epoll_wait"}]}

尝试在启动命令中添加--pool=gevent参数后问题仍未解决，请问该如何修复？

这个错误源于RabbitMQ客户端的epoll_wait系统调用失败，通常和容器环境下的资源限制、进程模型冲突或依赖版本问题有关，以下是针对性的修复步骤：

1. 拆分Celery Beat和Worker进程 #

Celery官方不推荐在同一个进程中同时运行Beat和Worker（即使用-B参数），这种方式在容器环境下容易引发资源竞争和文件描述符泄漏。分开启动两个进程：

• 启动Worker：

  celery -A app worker -l INFO
  

• 启动Beat：

  celery -A app beat -l INFO
  

在Kubernetes中，可以通过两个独立的Deployment分别管理Beat和Worker，或者在同一个Pod中用多容器模式运行。

2. 提升容器的文件描述符限制 #

Kubernetes容器默认的文件描述符（FD）上限较低，而Celery与RabbitMQ的连接会占用大量FD，容易触发"Bad file descriptor"错误。可以通过两种方式调整：

• 在Deployment配置中添加SecurityContext：

  spec:
    template:
      spec:
        securityContext:
          capabilities:
            add: ["SYS_RESOURCE"]
          privileged: false
  

• 在启动命令中直接设置ulimit：

  ulimit -n 65535 && celery -A app worker -l INFO
  

3. 升级Celery及AMQP依赖 #

旧版本的Celery或amqp库存在epoll相关的兼容性bug，升级到稳定版本可以解决这类问题：

pip install --upgrade celery amqp

推荐使用Celery 5.2+和amqp 5.1+版本。

4. 优化RabbitMQ连接配置 #

调整Celery的连接池和心跳参数，避免连接泄漏导致的FD耗尽：

app = Celery('celery-worker',
             broker=RABBITMQ_URL,
             backend=REDIS_URL
             )
app.conf.update(
    result_expires=3600,
    broker_pool_limit=10,  # 根据业务量调整连接池大小
    broker_heartbeat=30,   # 设置心跳时间，避免连接被意外关闭
    broker_heartbeat_checkrate=2,  # 心跳检查频率
    broker_connection_retry_on_startup=True,  # 启动时自动重试连接
)

5. 调整Gevent池的兼容性配置（如果必须使用） #

如果确实需要使用Gevent池，确保安装完整依赖并配置正确：

pip install celery[gevent]

同时在Celery配置中添加：

app.conf.update(
    worker_pool='gevent',
    worker_kwargs={'gevent_options': {'socket_timeout': 30, 'socket_connect_timeout': 30}},
)

启动时无需额外加--pool=gevent参数，通过配置文件指定更可靠。

内容的提问来源于stack exchange，提问作者alirezabe