如何在Dagster中并行执行任务？本地Node.js微服务流水线相关问题

关于并行执行任务的问题 #

你遇到的任务卡住问题是因为docker启动命令默认是前台阻塞运行的，Dagster的op默认会等待shell命令进程退出才会标记任务完成，自然会卡在该节点。要实现同层级任务并行，按以下步骤配置即可：

• 启动docker容器时添加-d参数让容器后台运行，比如 docker run -d <你的镜像参数>，命令执行完成后会立刻返回，不会阻塞任务进程
• 如果需要确认容器服务可用再标记任务完成，可以在op中额外增加健康检查逻辑，比如调用docker inspect查看容器运行状态、探测对应服务端口是否可通，检查通过后再结束op
• 开启Dagster并行执行配置：在job定义时指定多进程执行器，示例配置如下：

from dagster import job, multiprocess_executor

@job(executor=multiprocess_executor.configured({"max_concurrent": 5}))
def your_pipeline_job():
    # 你的任务依赖定义

调整后同一层级的无依赖任务就会自动并行执行。

关于是否可以同时并行docker相关任务和Node.js服务相关任务：不建议这么做，Node.js微服务依赖Elastic、Kafka等中间件的可用性，强行并行会导致Node服务启动时无法连接中间件而报错退出。如果要减少整体运行时长，可以拆分细粒度依赖：比如给每个Node服务单独绑定依赖的中间件任务（例如node_service_one只依赖docker_kafka启动完成），不需要等所有docker任务+sleep_10都完成再启动所有Node服务，能大幅减少等待时间。

配置简单的本地DAG方案推荐 #

• Make：最轻量的方案，直接编写Makefile定义任务依赖，本地执行只需要执行make <目标任务名>即可，缺点是无可视化界面，失败重试等能力需要自行实现
• Taskfile：逻辑和Make类似，用YAML配置任务，语法更友好，原生支持并行执行、任务依赖、失败重试，自带执行日志统计，完全满足本地开发测试场景的需求
• Prefect 2.x 本地版：比Dagster配置更简单，用Python编写任务，默认支持并行执行，不需要复杂的服务端部署，本地环境只需要安装Prefect依赖包即可运行
• Airflow 本地单机版：可视化界面成熟，生态完善，使用LocalExecutor即可支持并行任务，缺点是依赖组件更多，占用本地资源比前面几个方案高

内容的提问来源于stack exchange，提问作者Tlaloc-ES