Azure上Podman ENTRYPOINT/CMD在SLURM节点执行异常问题

错误解析 #

报错exec: "runscript.sh": executable file not found in $PATH本质是容器内无法找到指定的可执行脚本，可能是路径、挂载、权限或版本兼容问题导致。

排查步骤 #

1. 验证子节点挂载目录的可用性 #

• 确认SLURM子节点上存在/inputfiles/目录，且该目录下有runscript.sh文件。若主节点的/inputfiles/是本地目录而非集群共享存储，子节点大概率无法访问，需改用共享存储（如NFS）同步目录。
• 在SLURM任务脚本中添加前置检查：ls -l /inputfiles/runscript.sh，确认文件存在且有读权限。

2. 检查容器内脚本路径与权限 #

• 执行调试命令，查看容器内挂载状态、工作目录和PATH：

  podman run --rm \
    --mount "type=bind,src=/inputfiles/,dst=/app/model" \
    --mount "type=bind,src=/outputfiles,dst=/app/model/out" \
    modelImage sh -c "ls -l /app/model && echo \$PATH && pwd"
  

• 确认runscript.sh在/app/model下，且具备执行权限：在共享存储或主节点执行chmod +x /inputfiles/runscript.sh。

3. 规避PATH依赖问题 #

当前命令中runscript.sh是相对路径，依赖容器的工作目录和PATH配置。直接改用绝对路径执行脚本，避免路径解析错误：

podman run --rm \
  --mount "type=bind,src=/inputfiles/,dst=/app/model" \
  --mount "type=bind,src=/outputfiles,dst=/app/model/out" \
  modelImage sh /app/model/runscript.sh

4. 排查Podman版本兼容问题 #

Podman 1.6.4是2019年的老旧版本，在绑定挂载、ENTRYPOINT/CMD参数处理上存在已知bug。升级至4.5.0后重新测试，验证是否为版本导致的兼容性问题。

5. 检查SLURM任务的环境差异 #

• 确认SLURM子节点的Podman配置与主节点一致，比如用户权限、存储驱动等。
• 若SLURM任务以特定用户运行，验证该用户在子节点上是否有权限访问/inputfiles/和/outputfiles目录。

总结解决优先级 #

1. 改用绝对路径执行脚本（最直接的临时解决方法）
2. 确认挂载目录为集群共享存储，子节点可访问
3. 给runscript.sh添加执行权限
4. 升级Podman至最新稳定版本
5. 排查SLURM任务的用户权限与环境一致性

内容的提问来源于stack exchange，提问作者andy