如何在Airflow的BashOperator中使用变量？附Python依赖安装DAG代码

嘿，我来帮你拆解这两个Airflow实操问题，咱们一步步来：

一、BashOperator里用变量的正确打开方式 #

你代码里写的{{ var.conf_path }}已经是标准玩法啦！这里给你再扩展几种常用的变量使用场景：

• 自定义Airflow变量：var.conf_path就是你在Airflow UI的「Admin > Variables」里配置的自定义变量，直接用{{ var.变量名 }}就能在bash_command中引用，Airflow会自动把模板语法替换成实际的变量值。
• Airflow内置系统变量：很多场景下你需要用到Airflow自带的上下文变量，比如：

  t1 = BashOperator(
      task_id='echo_runtime_info',
      bash_command="echo 当前DAG: {{ dag.dag_id }} | 执行日期: {{ execution_date }} | 任务ID: {{ task.task_id }}",
      dag=dag
  )
  

• 自定义参数传递：因为你在default_args里设置了provide_context: True，还能通过params传自定义参数：

  t1 = BashOperator(
      task_id='echo_custom_param',
      bash_command="echo 自定义参数值: {{ params.my_param }}",
      params={'my_param': 'hello_airflow'},
      dag=dag
  )
  

二、用DAG安装Python依赖的实操方案 #

要在DAG里安装Python依赖，直接用BashOperator执行pip install命令就可以，但要注意Airflow的运行环境，避免踩权限坑：

补全你的t2任务示例： #

# 安装单个依赖包（比如requests指定版本）
t2 = BashOperator(
    task_id='install_single_dep',
    bash_command="pip install requests==2.31.0 --user",
    dag=dag
)

# 或者从requirements.txt批量安装
# t2 = BashOperator(
#     task_id='install_from_requirements',
#     bash_command="pip install -r /opt/airflow/dags/requirements.txt --user",
#     dag=dag
# )

# 设置任务执行顺序：先打印变量，再安装依赖
t1 >> t2

关键注意点： #

• 加--user参数：这个很重要！它会把包安装到当前用户的Python站点目录，避免系统级权限问题（毕竟Airflow一般不会用root用户运行）。
• 指定虚拟环境：如果你的Airflow部署在虚拟环境里，要先激活环境再安装：

  bash_command="source /opt/airflow/venv/bin/activate && pip install requests --user"
  

• 避免重复安装：可以加个判断逻辑，只有当包不存在时才安装：

  bash_command="pip show requests || pip install requests==2.31.0 --user"
  

内容的提问来源于stack exchange，提问作者BelowZero