Nextflow-Tower中运行Python脚本失败排查及示例需求

错误原因分析 #

错误码127表明系统找不到python3命令，核心问题集中在两点：

1. 你指定的容器镜像us-east1-docker.pkg.dev/xxxx-yyyy/pass/python3:latest未安装Python3，或python3不在系统PATH中
2. Python脚本的调用方式不规范，未明确指定解释器或脚本路径

分步解决 #

1. 验证容器镜像有效性 #

本地拉取镜像并检查Python3是否存在：

docker run -it us-east1-docker.pkg.dev/xxxx-yyyy/pass/python3:latest which python3

如果返回which: no python3 in (...)，说明镜像无Python3，建议替换为官方稳定镜像，比如python:3.11-slim

2. 修正流水线脚本中的Python调用 #

修改main.nf里的processPython流程，明确指定解释器和脚本路径：

process processPython {
  input: 
    val y
  output:
    stdout
  script:
    """
    python3 ${projectDir}/bin/test.py
    """
}

另一种方式：给test.py添加可执行权限（chmod +x bin/test.py）并保留首行shebang，可直接调用脚本（前提是容器中存在python3）：

process processPython {
  input: 
    val y
  output:
    stdout
  script:
    """
    test.py
    """
}

稳定运行的简单Python流水线仓库示例 #

目录结构 #

root/
├── main.nf
├── nextflow.config
└── bin/
    └── print_version.py

main.nf #

#!/usr/bin/env nextflow
nextflow.enable.dsl=2

process printPythonVersion {
  input:
    val name
  output:
    stdout
  script:
    """
    print_version.py
    """
}

workflow {
  Channel.of('Alice', 'Bob') | printPythonVersion | view
}

nextflow.config #

process.container = "python:3.11-slim"
docker.enabled = true

// 若使用GCR私有镜像，需添加认证配置（示例）
// docker.registry = "us-east1-docker.pkg.dev"
// docker.user = "_json_key"
// docker.password = file("/path/to/service-account.json")

bin/print_version.py #

#!/usr/bin/env python3
import sys
print(f"Python Version: {sys.version}")

提交前准备 #

给Python脚本添加可执行权限：

chmod +x bin/print_version.py

将所有文件提交到Git仓库后，即可在Nextflow-Tower中稳定运行。

内容的提问来源于stack exchange，提问作者jlo-gmail