Dask Distributed是否有类似Apache Livy的REST API任务管理方案

完全有匹配需求的实现，主要可以通过两类官方支持的路径实现REST API提交、监控Dask作业的能力：

• Dask Gateway
  这是Dask官方推出的多租户集群管理组件，和Livy的定位、功能匹配度最高，原生支持REST API，可实现的能力包括：
  • 按需创建、销毁独立的Dask集群实例
  • 远程提交Python作业代码到指定集群运行
  • 实时查询作业、任务的运行状态、进度、资源占用数据
  • 自带权限管控、租户隔离能力，兼容K8s、YARN、本地部署等多种底层环境
    是需要多租户作业管理场景的首选方案。
• Dask Scheduler 内置HTTP API
  如果是单集群轻量化使用场景，不需要多租户能力，直接开启Dask Scheduler自带的HTTP服务即可：
  • 启动Scheduler时添加--http参数，默认会在8787端口开放HTTP接口
  • 原生自带集群状态、任务进度、worker资源等全量监控查询接口
  • 提交作业的逻辑可以通过简单的自定义封装实现，不需要额外部署重型组件，适配小团队内部使用场景

内容的提问来源于stack exchange，提问作者Mrityunjay