求助：Airflow调度器与Web服务器无法协同运行怎么办？

关键排查步骤 #

• 资源与数据库连接检查
  • 检查元数据库（如PostgreSQL/MySQL）的连接配置，airflow.cfg中的sql_alchemy_pool_size和sql_alchemy_max_overflow参数是否足够支撑两个服务同时连接，可适当调大数值。
  • 用top或htop监控系统内存、CPU使用情况，确认启动两个服务后是否出现资源耗尽。
• 日志定位错误
  • 查看WebServer日志（默认路径$AIRFLOW_HOME/logs/webserver）和Scheduler日志（默认路径$AIRFLOW_HOME/logs/scheduler），从最新日志中提取报错信息，比如数据库连接失败、依赖缺失、权限问题。
  • 启动服务时开启debug模式获取详细输出：

    airflow webserver -d
    airflow scheduler -d
    

• 环境与版本一致性验证
  • 确认两个终端的Python环境一致，执行which python和pip list检查Airflow版本及依赖包是否相同，避免虚拟环境不一致引发兼容性问题。
  • 若使用Airflow 2.x，确认是否误在standalone模式下手动启动服务——standalone模式会自动启动webserver和scheduler，手动启动会导致冲突。
• 配置文件校验
  • 检查airflow.cfg中的executor配置：如果使用SequentialExecutor，多进程启动会出现冲突，建议切换为LocalExecutor（需搭配非SQLite的元数据库）。
  • 确认webserver_port已改为8070，并用lsof -i :8070或netstat -tulpn | grep 8070验证端口未被其他服务占用。
• 权限排查
  • 确保$AIRFLOW_HOME目录及子目录的读写权限正常，两个终端的运行用户一致，避免因权限不足导致服务无法写入日志或访问数据库。

内容的提问来源于stack exchange，提问作者chugaister