Airflow调度器陷入重启循环且CPU占用极高求助

核心问题分析 #

错误日志中的BrokenPipeError是多进程通信管道断开所致，结合1400%的高CPU占用，大概率是残留僵尸进程/共享资源锁或Airflow元数据不一致引发的循环重启与资源耗尽。

分步解决方法 #

1. 彻底清理Docker残留资源 #

• 停止所有Airflow相关容器：

  docker stop $(docker ps -q --filter name=airflow-)
  

• 强制删除已停止的Airflow容器：

  docker rm -f $(docker ps -aq --filter name=airflow-)
  

• 清理Docker未使用的卷（需保留元数据卷则跳过）：

  docker volume prune -f
  

• 重启Docker服务释放系统资源：

  # Ubuntu/Debian
  systemctl restart docker
  # CentOS/RHEL
  service docker restart
  

2. 清理Airflow元数据库锁 #

若使用PostgreSQL/MySQL作为元数据库，手动清理调度器锁：

• 进入元数据库容器：

  docker exec -it <your-airflow-db-container-name> bash
  

• 连接数据库（以PostgreSQL为例）：

  psql -U airflow -d airflow
  

• 执行SQL清理锁表：

  DELETE FROM job WHERE job_type = 'SchedulerJob';
  DELETE FROM task_instance WHERE state = 'running' OR state = 'queued';
  

• 退出数据库并重启DB容器：

  exit
  docker restart <your-airflow-db-container-name>
  

3. 调整Airflow调度器配置 #

在airflow.cfg中修改以下参数，规避多进程通信异常：

• 降低调度器工作进程数：

  scheduler_num_workers = 2
  

• 临时切换为单进程执行器测试：

  executor = SequentialExecutor
  

• 增加优雅退出超时时间：

  scheduler_graceful_shutdown_timeout = 60
  

修改后重新启动调度器容器。

4. 限制容器资源与排查宿主机状态 #

• 检查宿主机资源占用，确认是否有其他进程抢占资源：

  top
  

• 给调度器容器设置CPU配额（以docker-compose为例）：

  services:
    scheduler:
      deploy:
        resources:
          limits:
            cpus: '2.0'
  

5. 验证版本兼容性 #

检查当前Airflow版本是否存在Python 3.11适配bug（如Airflow <2.6.x），若存在则升级至稳定版本：

docker pull apache/airflow:2.8.3

内容的提问来源于stack exchange，提问作者DarknessPlusPlus