Apache Airflow Docker Compose环境变量配置不生效及配置方式咨询

1. 如何成功将执行器切换为CeleryExecutor #

• 首先确认实际生效的执行器：不要直接查看静态airflow.cfg文件的内容，环境变量是运行时覆盖配置，不会修改静态配置文件，进入Airflow调度器或者webserver容器执行airflow config get-value core executor，返回的才是实际生效的配置。
• 检查docker-compose服务引用：确认所有Airflow相关服务（scheduler、webserver、worker、flower等）都继承了x-airflow-common的配置（即服务下加了<<: *airflow-common字段），如果有服务没继承，就不会加载到Executor的环境变量。
• 检查是否存在挂载的airflow.cfg：如果你的docker-compose配置里挂载了本地airflow.cfg到容器的/opt/airflow/airflow.cfg路径，配置文件的优先级高于环境变量，需要手动修改挂载的配置文件里的executor参数为CeleryExecutor。
• 重启容器生效：修改配置后需要执行docker-compose down停止并删除旧容器，再执行docker-compose up -d重启服务，不要直接用docker-compose restart，否则旧容器的环境变量缓存不会更新。
• 确认依赖服务完整：使用CeleryExecutor必须在docker-compose中包含postgres、redis、airflow-worker三个基础服务，缺少依赖服务时Airflow会自动回退到SequentialExecutor。

2. 环境变量和配置文件的选择建议 #

两种方式没有绝对优劣，根据部署场景选择：

• 优先选环境变量的场景：Docker/容器化部署、多环境差异化配置、需要频繁调整配置的场景。优势是无需修改镜像或挂载文件，直接修改docker-compose或.env文件即可生效，适配性更强。
• 优先选配置文件的场景：配置项多且固定、需要集中管理所有配置、非容器化部署的场景。优势是所有配置集中在一个文件，可读性更高，不容易出现配置遗漏。
  注意Airflow的配置优先级为：命令行参数 > 环境变量 > airflow.cfg配置文件

3. 配置文件方式的实现方案 #

• 最常用的方案是挂载本地配置文件：将本地修改好的airflow.cfg通过docker-compose的volumes字段挂载到容器内的/opt/airflow/airflow.cfg路径，修改本地配置后重启容器即可生效，无需重新构建镜像。
• 其他优化方案：
  • 如果是K8s部署，可将airflow.cfg存放到ConfigMap中，统一管理多实例的配置，更新配置无需重启服务（部分核心配置仍需重启）。
  • 如果配置长期固定，可在构建自定义Airflow镜像时直接将airflow.cfg复制到镜像的/opt/airflow路径下，适合配置不会频繁变更的生产环境。

内容的提问来源于stack exchange，提问作者Daniil Yefimov