配置Airflow并行任务后无任务调度问题求助

刚把Airflow从SequentialExecutor换成LocalExecutor+PostgreSQL，结果之前好好的DAG全变成无状态的“white no status”，连等待S3的传感器都没动静？我帮你梳理几个最可能的排查方向，都是实际踩过的坑：

1. 先确认元数据库的一致性和连接 #

虽然你说部署PostgreSQL没报错，但换元数据库最容易出的就是数据不同步或者连接隐性失败：

• 先跑个airflow db check，直接验证Airflow和PostgreSQL的连接是否正常，这个命令能快速暴露连接字符串错误、权限问题
• 手动登进PostgreSQL查两张关键表，确认你的DAG真的被正确加载到元数据里：

  -- 检查DAG是否激活且最近被解析过
  SELECT dag_id, is_active, last_parsed_time FROM dag WHERE dag_id = '你的目标DAG_ID';
  -- 检查有没有任务实例记录（哪怕是失败的）
  SELECT task_id, state, start_date FROM task_instance WHERE dag_id = '你的目标DAG_ID' ORDER BY start_date DESC LIMIT 10;
  

如果查不到DAG记录，要么是airflow db init之后没同步DAG（全新部署的话要确保DAG文件在dags_folder里），要么是之前的SQLite元数据没迁移过来（如果是从SQLite转过来的，记得用airflow db upgrade做迁移）。

2. 核对LocalExecutor的配置细节 #

LocalExecutor对配置的细节要求比SequentialExecutor高，别小看拼写错误：

• 先确认psycopg2（PostgreSQL驱动）装对了，跑pip show psycopg2-binary（生产环境推荐用这个），确保版本和你的Airflow兼容
• 把airflow.cfg里的关键配置再核对一遍，别犯低级错误：

  [core]
  executor = LocalExecutor  # 注意大小写，别写成Localexecutor
  sql_alchemy_conn = postgresql+psycopg2://airflow:your_password@localhost:5432/airflow_db  # 密码有特殊字符要URL编码！
  dags_folder = /opt/airflow/dags  # 要和webserver、scheduler的运行用户权限一致
  load_examples = False  # 关掉示例DAG，避免干扰排查
  
  [scheduler]
  job_heartbeat_sec = 5  # 临时改短心跳，让调度器更快响应
  scheduler_heartbeat_sec = 5
  parse_dags_interval = 10  # 缩短DAG解析间隔，确保新DAG能被快速发现
  

3. 扒日志找线索——scheduler和webserver的日志是关键 #

任务没动静，90%的问题都能在日志里找到：

• 去scheduler日志目录（默认$AIRFLOW_HOME/logs/scheduler）搜你的DAG_ID，看看有没有Could not import DAG、Permission denied、Missing dependency这类错误——比如你的DAG用到S3，新环境有没有装boto3？有没有配置AWS凭证？
• 检查dags_folder的权限：webserver和scheduler的运行用户（比如airflow用户）必须对这个目录有读权限，DAG文件权限设成644，目录设成755就够了，别给太高权限
• 看看webserver日志，有没有DAG解析失败的提示，有时候UI显示DAG存在，但实际上解析报错了，任务根本没法调度

4. 手动触发任务验证到底卡在哪 #

光看UI没用，手动触发测试能快速定位问题：

• 在UI里手动点Trigger DAG，然后立刻查PostgreSQL的task_instance表，看看任务是不是变成queued状态了：

  SELECT task_id, state FROM task_instance WHERE dag_id = '你的DAG_ID' AND execution_date = '刚才触发的日期';
  

  如果是queued但一直没变成running，那就是scheduler没把任务分配给LocalExecutor执行——这时候要检查scheduler进程是不是真的在正常运行，有没有残留的旧scheduler进程（跑pkill -f airflow-scheduler杀掉所有旧进程，再重启scheduler试试）
• 直接跑airflow tasks test 你的DAG_ID 你的首个传感器任务ID 2024-01-01（随便选一个过去的日期），手动测试单个任务能不能运行。如果这个命令报错，那就是任务本身的问题（比如S3连接不对），和Executor无关；如果能正常运行，那就是调度器的问题。

5. 最后几个容易忽略的小坑 #

• 有没有删掉旧的SQLite数据库文件？Airflow有时候会读取残留的airflow.db文件，确认airflow.cfg里的sql_alchemy_conn确实指向PostgreSQL，而不是默认的sqlite:////root/airflow/airflow.db
• 检查Airflow版本，有些旧版本的LocalExecutor和PostgreSQL组合有bug，比如Airflow 2.2.0的某些小版本，升级到最新的小版本可能直接解决问题
• 确认DAG的catchup参数是不是设成了False？如果是True，可能正在跑历史任务，导致新任务被阻塞——不过你已经清除了历史，这个可能性不大，但还是可以确认下

内容的提问来源于stack exchange，提问作者Kyle Bridenstine