You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

基于Kubernetes的DAG任务调度工具选型:Celery替代方案咨询

寻找支持动态DAG的轻量Celery替代工具(Kubernetes场景)

我正在构建一款基于Kubernetes的产品,用户向集群提交请求后会触发一批可能长时间运行的任务。最初打算用Celery向其他微服务提交任务,但核心问题是任务间存在依赖关系(需为每个请求动态构建DAG),而Celery的group和chain功能不足以支撑通用DAG需求,因此需要寻找替代工具。

已评估的方案

  • Apache Airflow:原生支持DAG,但侧重固定工作流,动态构建DAG的支持不够完善。
  • Dask:可实现需求,但仅用于提交HTTP请求给微服务显得过于冗余。
  • Argo:基于Kubernetes,特性适配,但仅为提交HTTP请求就启动新Kubernetes Pod过于冗余。
  • Prefect:底层依赖Dask,无需其额外功能。

问题

请问还有哪些替代方案可选?也欢迎指出我对上述方案的结论是否存在偏差。我常用Python,但也愿意考虑其他语言的工具。

内容的提问来源于stack exchange,提问作者maero21

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.29 00:25:57