基于Kubernetes的DAG任务调度工具选型:Celery替代方案咨询
寻找支持动态DAG的轻量Celery替代工具(Kubernetes场景)
我正在构建一款基于Kubernetes的产品,用户向集群提交请求后会触发一批可能长时间运行的任务。最初打算用Celery向其他微服务提交任务,但核心问题是任务间存在依赖关系(需为每个请求动态构建DAG),而Celery的group和chain功能不足以支撑通用DAG需求,因此需要寻找替代工具。
已评估的方案
- Apache Airflow:原生支持DAG,但侧重固定工作流,动态构建DAG的支持不够完善。
- Dask:可实现需求,但仅用于提交HTTP请求给微服务显得过于冗余。
- Argo:基于Kubernetes,特性适配,但仅为提交HTTP请求就启动新Kubernetes Pod过于冗余。
- Prefect:底层依赖Dask,无需其额外功能。
问题
请问还有哪些替代方案可选?也欢迎指出我对上述方案的结论是否存在偏差。我常用Python,但也愿意考虑其他语言的工具。
内容的提问来源于stack exchange,提问作者maero21
相关产品推荐
相关产品推荐

