Apache Airflow使用SSHOperator远程运行脚本报starccm+命令不存在如何解决

问题原因 #

你遇到的报错是典型的SSH非交互式会话环境变量未加载问题：手动登录远程主机时启动的是交互式Shell，会自动加载~/.bash_profile、~/.bashrc、/etc/profile等配置文件中的环境变量（包括starccm+所在的路径配置）；而Airflow调用SSHOperator发起的默认是非交互式Shell，不会加载上述用户级配置，因此PATH中找不到starccm+的执行路径。

可行解决方案 #

方案1：使用绝对路径执行命令（最稳定） #

1. 手动登录远程主机，执行以下命令获取starccm+的绝对路径：

which starccm+

假设输出为/opt/siemens/starccm+/2023.1/bin/starccm+
2. 修改run.sh脚本，替换为绝对路径：

#!/bin/sh
/opt/siemens/starccm+/2023.1/bin/starccm+ -batch run_export.java Rans_Model.sim

方案2：手动加载环境变量配置 #

如果starccm+依赖多个配套环境变量，可直接在执行逻辑前加载配置文件，两种实现方式二选一即可：

• 方式1：修改run.sh，开头加载配置（根据你实际存放starccm环境变量的配置文件选择）：

#!/bin/sh
# 加载用户级配置
source ~/.bash_profile
# 若环境变量配置在/etc/profile则替换为 source /etc/profile
starccm+ -batch run_export.java Rans_Model.sim

• 方式2：直接修改Airflow中定义的执行命令：

command_1 = """
source ~/.bash_profile
cd /files/232-065/Rans
bash run.sh
"""

方案3：模拟交互式Shell #

给SSHOperator添加get_pty=True参数，模拟交互式终端，自动加载对应环境变量：

inlet_profile = SSHOperator(
    task_id='inlet_profile',
    ssh_hook=sshHook,
    command=command_1,
    get_pty=True
)

排查验证方法 #

如果按上述方案执行后仍有问题，可先在Airflow的执行命令中添加echo $PATH输出非交互式会话的路径，确认starccm+的安装目录是否在输出的路径列表中：

command_1 = """
echo $PATH
cd /files/232-065/Rans
bash run.sh
"""

执行后从Airflow任务日志即可查看PATH的实际配置。

内容的提问来源于stack exchange，提问作者tribo32