如何通过docker-compose文件设置Airflow的连接与变量

结论 #

你完全可以直接在官方提供的docker-compose.yaml文件里配置AIRFLOW_CONN_*连接和AIRFLOW_VAR_*变量，思路是正确的，只需要调整你参考写法里的两个错误即可。

写法修正 #

你给出的参考写法有两处不符合规范：

• 连接变量命名错误：Airflow连接对应的环境变量格式为AIRFLOW_CONN_<连接ID全大写>，不是双下划线分隔的AIRFLOW__CONN__XXX格式（双下划线格式仅用于配置airflow.cfg的系统参数）。比如你要创建ID为test的连接，变量名应为AIRFLOW_CONN_TEST。
• 不需要加export前缀：docker-compose的environment字段直接声明变量名和值即可，不需要加shell的export命令。

正确配置示例 #

直接把连接和变量添加到&airflow-common-env锚点下的环境变量列表即可，所有Airflow服务（webserver、scheduler、worker等）都会自动继承这些配置，无需重复编写：

x-airflow-common: &airflow-common
  image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.1.4}
  environment: &airflow-common-env
    # 保留原有配置不变
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    # 其他原有配置项...

    # 新增连接配置示例：创建ID为my_mongo的MongoDB连接
    AIRFLOW_CONN_MY_MONGO: "mongodb://user:pass@192.168.1.100:27017/db_name?authSource=admin"
    # 新增变量配置示例：创建名为foo的全局变量
    AIRFLOW_VAR_FOO: "自定义变量值"

注意事项 #

• 连接URI里的特殊字符（比如密码里的@、/、%等）需要提前做URL编码，避免解析失败。
• 这种方式配置的连接和变量不会在Airflow UI的连接/变量列表中展示，但可以在DAG中正常调用，通过Connection.get('my_mongo')、Variable.get('foo')即可读取对应值。
• 仅测试环境可以直接把敏感信息写在docker-compose.yaml中，生产环境建议把敏感值放到同目录的.env文件中引用，避免明文泄露。

内容的提问来源于stack exchange，提问作者OdiumPura