Django/Celery从Nomad迁移至K8s后任务延迟15分钟执行问题求助

1. 核对资源配置匹配度 #

• 检查Kubernetes Deployment的resources配额是否满足任务运行需求，很多场景下迁移后分配的CPU/内存阈值低于原Nomad环境，任务会被cgroups限流导致执行缓慢。可以先临时移除资源限制做测试，如果耗时恢复正常，对应上调资源配额即可。
• 确认Celery Worker并发配置和Pod资源匹配：如果使用prefork进程池，并发数设置超过Pod分配CPU核数的2倍，会引发频繁上下文切换拖慢执行效率；如果使用gevent/eventlet协程池，要确认所有任务依赖都支持异步调用，避免同步逻辑阻塞协程。

2. 排查网络访问耗时 #

• 给任务增加分步骤耗时日志，定位具体卡住的执行环节。迁移到Kubernetes后，集群DNS解析、网络策略、出口带宽可能和原Nomad环境存在差异，如果任务内部有大量外部服务、数据库、API调用，单次请求超时重试累计后很容易出现15分钟级别的耗时。
• 可以直接进入Worker Pod内用curl、ping等工具测试所有依赖服务的访问延迟，重点排查DNS解析超时、TCP连接被限流的问题。

3. 修复Celery 4.4.2版本已知问题 #

• 该版本存在任务状态统计Bug：如果Worker Pod和Redis结果后端的系统时间不同步，任务实际执行完成后不会及时更新状态，看起来就会长期处于started状态。检查Kubernetes集群所有节点的NTP时间同步配置，确保Worker、Redis实例的时间误差小于1秒。
• 增加Worker进程自动重启参数，避免进程僵死：启动Worker时添加--max-tasks-per-child=1000参数，让进程每处理1000个任务就自动重启，规避长时间运行引发的内存泄漏、进程僵死问题。

4. 调整任务预取配置 #

• Celery默认会预取多个任务缓存到Worker本地，如果CELERYD_PREFETCH_MULTIPLIER配置值过高，会出现任务被标记为started但实际还在Worker本地排队未执行的情况。对于长耗时任务建议把该值调整为1，关闭多余预取：

  # Celery配置文件新增
  CELERYD_PREFETCH_MULTIPLIER = 1
  

5. 排查存储IO性能 #

• 如果任务涉及大量本地磁盘读写，检查Pod挂载的PV存储性能是否和原Nomad环境一致，低性能共享存储、云盘会引发IO阻塞拖慢任务执行。可以在Pod内用dd命令测试磁盘读写速度，确认IO性能符合预期。

内容的提问来源于stack exchange，提问作者Christophe Ferreira