Linux服务运行Go程序调用mpirun返回错误码1问题排查

核心问题 #

GCP计算引擎上的Go服务调用mpirun启动集群程序时返回错误码1，但手动SSH执行相同命令正常，问题根源在于服务运行环境与手动执行环境的差异，以下是具体排查与解决方向：

1. 优先捕获完整错误日志 #

当前代码在cmd.Wait()后才读取stderr/stdout，可能导致部分日志丢失，无法定位真实错误。修改日志捕获逻辑，实时收集输出：

// 替换原有的StderrPipe/StdoutPipe逻辑
var stdoutBuf, stderrBuf bytes.Buffer
cmd.Stdout = &stdoutBuf
cmd.Stderr = &stderrBuf

// 启动命令
if err := cmd.Start(); err != nil {
    return nil, false, err
}

// ... 后续代码 ...

go func() {
    defer func() {
        delete(r.sessions, fullSessionKey)
    }()
    if err := cmd.Wait(); err != nil {
        println("error while waiting for stockfish process", err.Error())
        println("Stderr: " + stderrBuf.String())
        println("Stdout: " + stdoutBuf.String())
    }
}()

拿到完整错误日志后，能直接定位是权限、环境变量还是其他具体问题。

2. 修复环境变量差异 #

服务运行时（如systemd服务）的环境变量远少于手动SSH登录的用户环境，MPI依赖的PATH、LD_LIBRARY_PATH、MPI_HOME等变量可能未加载。解决方法：

• 在Go代码中显式设置环境变量：

  // 获取当前环境并追加MPI所需变量
  env := os.Environ()
  env = append(env, 
      "LD_LIBRARY_PATH=/usr/local/lib",  // 替换为你的MPI库实际路径
      "PATH=/usr/local/bin:"+os.Getenv("PATH"),  // 确保mpirun在PATH中
      "MPI_HOME=/usr/local/openmpi"  // 替换为你的MPI安装路径
  )
  cmd.Env = env
  

• 或者在服务配置文件（如systemd的.service文件）中添加Environment字段，加载必要环境。

3. 解决用户权限与SSH免密问题 #

服务运行的用户（如nobody、systemd默认用户）可能没有集群节点的SSH免密登录权限，而手动执行时用的是有权限的用户。解决方法：

• 查看服务运行用户：执行ps aux | grep 你的服务名确认。
• 给该用户配置SSH免密：
  1. 切换到服务用户：su - 服务用户名
  2. 生成SSH密钥：ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa
  3. 将公钥复制到所有集群节点：ssh-copy-id 节点用户名@节点IP
• 或者修改服务配置，让服务以你手动执行的用户运行（如systemd的.service文件添加User=你的用户名）。

4. 统一工作目录 #

mpirun或目标程序可能依赖当前工作目录下的文件，服务运行时的工作目录（默认可能是/或服务安装目录）与手动执行时不同。解决方法：
在Go代码中设置命令的工作目录为手动执行时的目录：

cmd.Dir = "/usr/sbin/cec_rd"  // 替换为你手动执行命令时的工作目录

5. 处理TTY/终端依赖问题 #

部分MPI实现或目标程序可能需要终端交互，而服务运行时没有TTY。可以尝试给命令分配伪终端：

import "syscall"

// ...

cmd.SysProcAttr = &syscall.SysProcAttr{
    Setctty: true,
    Setsid:  true,
}

如果不需要交互，可将标准输入重定向到/dev/null：

nullFile, _ := os.Open("/dev/null")
defer nullFile.Close()
cmd.Stdin = nullFile

内容的提问来源于stack exchange，提问作者Khadim Fall