如何用Docker容器化Conda环境下的Python/R混合流水线并解决WDL报错？

错误原因 #

1. 文件未传递到任务环境：Cromwell运行WDL任务时，执行环境是完全隔离的，本地的main.sh、Python/R脚本不会自动复制到任务工作目录，因此任务找不到指定文件。
2. WDL命名冲突：当前WDL中workflow和task同名（均为mywf），虽然不直接引发当前错误，但不符合规范，易造成逻辑混淆。

解决步骤 #

1. 修正WDL的文件引用逻辑

需要在WDL中显式声明任务所需的输入文件，让Cromwell将本地文件传递到执行环境：

version 1.0
workflow my_workflow {
    # 声明要传入的本地文件
    File main_sh
    File python_script
    File r_script
    
    call my_task {
        input:
            main_sh = main_sh,
            python_script = python_script,
            r_script = r_script
    }
}

task my_task {
    # 定义任务依赖的输入文件
    File main_sh
    File python_script
    File r_script
    
    command <<<
        # 给脚本添加执行权限
        chmod +x ~{main_sh}
        # 执行主脚本
        ./~{main_sh}
    >>>
    
    output {
        String out = read_string(stdout())
    }
}

2. 运行时传入本地文件路径

创建参数文件inputs.json，指定本地文件的路径：

{
    "my_workflow.main_sh": "./main.sh",
    "my_workflow.python_script": "./python_script.py",
    "my_workflow.r_script": "./r_script.py"
}

然后执行命令：

java -jar cromwell-85.jar run mywf.wdl -i inputs.json

3. 容器化Conda环境（最小改动方案）

要实现容器化，需先将my_env打包为Docker镜像：

• 导出Conda环境配置：

conda env export -n my_env > environment.yml

• 创建Dockerfile：

# 基于官方Anaconda镜像构建
FROM continuumio/anaconda3:latest

# 复制环境配置文件
COPY environment.yml /tmp/environment.yml

# 创建并激活目标环境
RUN conda env create -f /tmp/environment.yml
RUN echo "conda activate my_env" >> ~/.bashrc

# 设置默认shell为已激活环境的bash
SHELL ["conda", "run", "-n", "my_env", "/bin/bash", "-c"]

# 复制流水线脚本到镜像内
COPY main.sh /workflow/main.sh
COPY python_script.py /workflow/python_script.py
COPY r_script.py /workflow/r_script.py

# 设置工作目录
WORKDIR /workflow

# 给主脚本添加执行权限
RUN chmod +x main.sh

• 构建Docker镜像：

docker build -t my_workflow_image:v1 .

4. 在WDL中指定Docker镜像

修改task的runtime字段，指定使用刚才构建的镜像：

task my_task {
    File main_sh
    File python_script
    File r_script
    
    runtime {
        docker: "my_workflow_image:v1"
        # 确保Cromwell所在机器能访问该镜像（本地构建则直接可用）
    }
    
    command <<<
        chmod +x ~{main_sh}
        ./~{main_sh}
    >>>
    
    output {
        String out = read_string(stdout())
    }
}

同时需修改main.sh中的Conda路径（Docker镜像中Anaconda默认路径为/opt/conda）：

source /opt/conda/etc/profile.d/conda.sh

关于自动生成包含环境的WDL #

目前没有通用工具能完全自动生成适配现有流水线的WDL（尤其是包含特定Conda环境的），但可借助部分工具简化流程：

• 部分工具如conda2wdl可基于Conda环境生成基础WDL任务结构，但仍需手动调整文件引用和命令逻辑。
• 部分工作流管理工具提供模板生成功能，但核心仍需明确输入输出和运行逻辑后手动适配。

对于当前简单的流水线，手动编写WDL更稳妥，改动量小且能精准控制细节。

内容的提问来源于stack exchange，提问作者je2018