Airflow BashOperator无法找到挂载卷中的脚本问题求助

核心问题分析 #

• BashOperator工作目录特性：Airflow的BashOperator会为每个任务创建独立的临时工作目录（如你看到的/tmp/***tmpgmauypmw），任务执行时默认进入该临时目录，而非容器的/opt目录。
• 路径使用错误：你的bash命令中使用了相对路径opt/home/...，但临时目录下不存在这个路径，必须使用绝对路径（以/开头）才能指向挂载的卷目录。

修正步骤 #

1. 修正BashOperator的bash_command路径 #

把所有相对路径改为绝对路径，确保指向容器内挂载的/opt/home目录：

with DAG(
    "Some Dag",
    default_args=default_args,
    description="",
    schedule=timedelta(days=1),
    catchup=False,
    tags=["useful tag"],
) as dag:
    t1 = BashOperator(
        task_id="script_to_execute",
        bash_command='echo $HOME && source /opt/home/.pyenv/versions/my-env/bin/activate && python /opt/home/path_to_script/runner.py'
    )

注意：给opt/home前加上了/，转为绝对路径/opt/home/...，同时移除了不必要的f-string（此处无动态变量需求）。

2. 验证路径正确性 #

可先在BashOperator中执行绝对路径的ls命令，确认脚本存在：

bash_command='ls -la /opt/home/path_to_script/runner.py'

若输出能显示脚本文件，说明路径无误，再继续执行激活环境和运行脚本的命令。

3. 可选优化：使用PythonOperator替代（若无需bash逻辑） #

如果你的任务仅需运行Python脚本，推荐使用PythonOperator，可直接指定Python解释器路径，规避bash路径问题：

from airflow.operators.python import PythonOperator
import sys

def run_script():
    # 将脚本所在目录添加到Python路径
    sys.path.append('/opt/home/path_to_script')
    # 导入并运行脚本
    import runner
    runner.main()

t1 = PythonOperator(
    task_id="script_to_execute",
    python_callable=run_script,
    # 指定虚拟环境的Python解释器路径
    python='/opt/home/.pyenv/versions/my-env/bin/python'
)

额外说明 #

你进入容器看到的/opt/home路径是正确的，卷挂载已生效，但BashOperator的工作目录为临时目录，因此必须用绝对路径访问挂载的文件；虚拟环境的激活命令同样需要用绝对路径，否则在临时目录下找不到对应的相对路径。

内容的提问来源于stack exchange，提问作者Nazim Tairov