Airflow如何在BashOperator的bash命令中直接读取Airflow变量？

结论 #

你的需求完全可以实现，通过Jinja模板在bash_command中直接读取Airflow变量是官方支持的用法，只需修正写法细节即可正常使用。

正确实现方式 #

Airflow的BashOperator默认支持Jinja模板渲染，你可以直接使用{{ var.value.变量名 }}的语法在bash命令中读取变量，注意如果变量值包含空格、特殊符号，需要在模板外层包裹单引号避免bash解析错误：

t2 = BashOperator(
    task_id='try_bash',
    bash_command="echo '{{ var.value.aa }}'",
    dag=dag
)

如果你的变量存储的是JSON格式数据，还可以直接用var.json语法读取JSON的子字段：

# 假设变量aa的值为 {"name": "test", "version": "1.0"}
t2 = BashOperator(
    task_id='try_bash',
    bash_command="echo '{{ var.json.aa.name }}'",
    dag=dag
)

你之前写法失效的常见原因 #

• {{ var.aa }}是Airflow低版本的过时语法，2.x及之后的高版本已不再支持该写法，统一使用var.value.变量名的规范写法
• 模板外层未加引号，变量值的特殊字符导致bash命令解析异常
• 变量aa不存在，或者Airflow worker节点没有读取该变量的权限

内容的提问来源于stack exchange，提问作者bigdataadd