Celery：如何禁用Worker节点间的心跳机制？

针对你被大量missed heartbeat日志填充的问题，确实可以通过调整配置来禁用Worker间的心跳机制，或者至少屏蔽这些冗余日志。下面分场景说明具体操作和潜在风险：

一、仅屏蔽冗余心跳日志（保留心跳机制） #

如果不想完全丢弃心跳的监控价值，只是想清理日志，可以通过调整Celery的日志策略来过滤这些INFO级别的提示：

1. 启动时指定更高日志级别：
   启动Worker时将日志级别设为WARNING及以上，这样INFO级别的心跳日志就不会输出了：

   celery -A your_app worker --loglevel=WARNING
   

2. 精准过滤心跳相关Logger：
   要是想保留其他INFO级日志，只过滤心跳内容，可以在Celery配置中添加日志过滤规则：

   import logging
   from logging.config import dictConfig
   
   dictConfig({
       'version': 1,
       'disable_existing_loggers': False,
       'handlers': {
           'console': {'class': 'logging.StreamHandler'},
       },
       'loggers': {
           'celery.worker.heartbeat': {
               'handlers': ['console'],
               'level': 'WARNING',
               'propagate': False,
           },
       },
   })
   

   这会把心跳相关日志的级别提升到WARNING，只有严重的心跳异常才会被记录。

二、完全禁用Worker心跳机制 #

如果确定不需要Worker间的心跳交互，可以彻底关闭该功能：

1. 启动Worker时添加参数：
   启动Worker时带上--without-heartbeat选项，直接关闭心跳发送：

   celery -A your_app worker --without-heartbeat
   

2. 全局配置永久禁用：
   在你的Celery应用配置中添加以下参数，全局关闭心跳：

   app.conf.worker_send_task_events = False
   app.conf.worker_heartbeat = None
   

三、潜在风险 #

禁用心跳后需要注意以下几个问题：

• 丢失Worker状态监控能力：Celery的监控工具（如Flower）依赖心跳获取Worker的在线状态、负载等信息，禁用后你将无法通过这些工具监控Worker存活情况。
• 无法及时察觉Worker异常退出：主节点无法通过心跳判断Worker是否存活，若Worker崩溃，主节点可能无法及时发现，但Redis作为消息中间件，未完成的任务会重新回到队列（前提是没有修改acks_late=False的默认配置），不会永久丢失。
• 高级调度功能受限：如果你的任务依赖Celery的集群调度策略（比如根据Worker负载分配任务），心跳禁用后这些策略会失效，因为调度器无法获取Worker的实时状态数据。

总的来说，如果你的场景只需要Worker从Redis取任务执行，不需要监控和动态调度，禁用心跳完全可行；但如果需要监控Worker状态或使用高级调度功能，建议只屏蔽日志而非彻底禁用心跳。

内容的提问来源于stack exchange，提问作者duhaime