如何在Docker构建时通过pools.json程序化创建Airflow 2.0.2的pools

前提说明 #

Airflow的Pool配置存储在元数据库中，Docker镜像构建阶段默认不会连接运行中的元数据库，因此通用实现逻辑是：构建阶段预埋pools.json和导入逻辑，在容器首次启动/初始化阶段执行导入操作。如果确实需要在构建阶段完成配置写入，需要保证构建过程中可以访问到已就绪的目标元数据库，该方式环境耦合度高，非特殊场景不推荐。

通用实现步骤（推荐） #

• 第一步：准备符合Airflow格式要求的pools.json文件，示例如下：

[
  {
    "pool": "custom_pool_1",
    "slots": 5,
    "description": "自定义任务池1",
    "include_deferred": false
  },
  {
    "pool": "custom_pool_2",
    "slots": 10,
    "description": "自定义任务池2",
    "include_deferred": true
  }
]

• 第二步：修改Dockerfile，将pools.json拷贝到镜像内，示例配置：

# 基于官方Airflow 2.0.2基础镜像
FROM apache/airflow:2.0.2

# 拷贝本地pools.json到镜像配置目录，注意权限适配官方镜像的airflow用户
COPY --chown=airflow:root pools.json /opt/airflow/config/pools.json

• 第三步：在容器启动流程中加入Pool导入命令
  Airflow 2.0+原生提供airflow pools import命令，可直接读取json文件批量导入/更新Pool。你可以将该命令添加到你的容器启动脚本中，放在airflow db upgrade命令之后、webserver/scheduler服务启动之前即可：

airflow pools import /opt/airflow/config/pools.json

该命令是幂等的：已存在的同名Pool会自动覆盖更新配置，不存在的Pool会新增，重复执行不会出现冲突报错。

特殊场景：构建阶段直接写入Pool #

如果你的场景要求必须在Docker构建阶段完成Pool配置写入，可按以下方式实现，仅适用于元数据库地址固定的专属场景：

1. 构建时传入元数据库连接串作为构建参数，保证构建进程可以访问到已初始化完成的目标元数据库
2. 修改Dockerfile增加构建阶段导入逻辑，示例如下：

FROM apache/airflow:2.0.2

COPY --chown=airflow:root pools.json /opt/airflow/config/pools.json

# 接收构建参数传入元数据库连接串，不要硬编码敏感信息
ARG AIRFLOW__DATABASE__SQL_ALCHEMY_CONN
ENV AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=${AIRFLOW__DATABASE__SQL_ALCHEMY_CONN}

# 构建阶段执行元数据库连通性检查+Pool导入
RUN airflow db check && airflow pools import /opt/airflow/config/pools.json

内容的提问来源于stack exchange，提问作者Snowfire