docker-compose部署Airflow多容器无法互通 调度器不被识别如何解决

问题成因 #

• 元数据库选型与配置错误
  你当前使用SQLite作为Airflow元数据库，它本质是单文件本地数据库，不支持跨进程/跨容器的并发访问。同时你的docker-compose配置中没有将SQLite文件路径/opt/airflow/airflow.db挂载到宿主机共享目录，导致webserver和scheduler两个容器各自使用独立的SQLite文件，元数据完全隔离，webserver无法读取到独立scheduler容器的运行状态，因此UI显示scheduler未运行。你手动在webserver容器内启动scheduler后正常，本质是两个进程共用了webserver容器内的同一个SQLite文件，元数据同步所以状态正常，但不符合单容器单服务的设计原则。
• 执行器选型不支持分布式部署
  你配置的SequentialExecutor是单节点顺序执行器，设计上仅支持单进程运行，不支持多scheduler节点的分布式调度架构，无法实现HA高可用需求。

解决方案 #

1. 替换元数据库
   在docker-compose中新增支持多连接的数据库服务（推荐PostgreSQL，也可以用MySQL），所有Airflow服务统一连接该共享元数据库，示例配置片段：

   services:
     postgres:
       image: postgres:13
       environment:
         POSTGRES_USER: airflow
         POSTGRES_PASSWORD: airflow
         POSTGRES_DB: airflow
       volumes:
         - postgres-db-volume:/var/lib/postgresql/data
       healthcheck:
         test: ["CMD", "pg_isready", "-U", "airflow"]
         interval: 5s
         retries: 5
   volumes:
     postgres-db-volume:
   

   同时修改airflow.env中的数据库连接配置：

   AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres/airflow
   

   记得在你的requirements.pip中添加psycopg2-binary依赖，用于连接PostgreSQL。
2. 更换支持分布式的执行器
   如需多scheduler HA，将执行器更换为CeleryExecutor，同时新增Redis/RabbitMQ作为消息中间件，示例配置新增Redis服务：

   services:
     redis:
       image: redis:latest
       ports:
         - "6379:6379"
       healthcheck:
         test: ["CMD", "redis-cli", "ping"]
         interval: 5s
         timeout: 30s
         retries: 3
   

   修改airflow.env中的执行器配置：

   AIRFLOW__CORE__EXECUTOR=CeleryExecutor
   AIRFLOW__CELERY__RESULT_BACKEND=db+postgresql://airflow:airflow@postgres/airflow
   AIRFLOW__CELERY__BROKER_URL=redis://:@redis:6379/0
   

   同时在docker-compose中新增worker服务，用于执行任务，你已挂载的dags、logs共享目录可以继续沿用。
3. 补全缺失配置
   生成Fernet Key并配置到airflow.env，避免加密类功能异常：
   执行命令生成Key：python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"
   修改配置：

   AIRFLOW__CORE__FERNET_KEY=你生成的对应key
   

4. 多scheduler HA配置
   Airflow 2.0+原生支持多scheduler实例，所有实例只要连接相同的元数据库和消息队列即可正常运行，直接调整docker-compose中scheduler服务的副本数即可：

   services:
     scheduler:
       # 原有配置保持不变
       deploy:
         replicas: 2 # 按实际需求调整实例数
   

内容的提问来源于stack exchange，提问作者mrc