Airflow 2.2.3部分任务无日志即失败，如何排查与修复？

问题场景 #

• 使用Airflow 2.2.3版本，偶发部分任务标记为失败，但无任何日志生成，Worker节点也无执行痕迹
• 任务实例详情中存在external_executor_id，但Flower监控工具中无法查到该ID
• 部分任务执行后生成不完整日志（如示例中仅存在1.log、3.log、4.log，缺失中间日志文件）
• 多数任务运行正常，手动重启失败任务通常可恢复

可能原因及修复方案 #

1. Executor与Worker通信中断/超时 #

Celery Executor向Worker发送任务后，若Broker（Redis/RabbitMQ）连接不稳定、Worker接收任务前断开，会导致Airflow误标记任务失败，但Worker未实际执行，Flower也不会生成对应任务记录。

修复步骤：

• 调整Celery超时与重试配置，在airflow.cfg中修改：

  # 任务硬超时时间（根据任务实际耗时调整）
  celery_task_time_limit = 3600
  # 任务软超时时间，提前触发任务终止
  celery_task_soft_time_limit = 3300
  # Broker连接重试策略
  celery_broker_transport_options = {"max_retries": 3, "interval_start": 0, "interval_step": 0.2, "interval_max": 0.5}
  

• 重启Airflow Scheduler和所有Worker服务
• 检查Broker日志，排查是否有连接中断、队列堆积问题，必要时扩容Broker节点或调整队列参数

2. Scheduler与Executor竞态条件（版本已知问题） #

Airflow 2.2.x早期版本存在Scheduler调度逻辑的竞态问题：当Scheduler快速调度任务，Worker还未完成任务注册时，Scheduler可能误判任务超时并标记失败，导致external_executor_id已生成但无实际执行记录。

修复步骤：

• 升级Airflow到2.2.x系列的最新补丁版本（如2.2.5+），官方已在后续补丁中修复部分此类竞态问题
• 调整Scheduler调度频率参数，减少频繁扫描带来的竞态：

  scheduler_heartbeat_sec = 10
  min_file_process_interval = 30
  

3. 日志写入环节异常 #

部分任务出现日志文件缺失，说明日志写入过程中可能因权限不足、容器意外退出等中断。

修复步骤：

• 验证Worker容器对日志目录的读写权限：

  docker exec <worker-container-id> touch /opt/airflow/logs/test_perm.log && ls -l /opt/airflow/logs/test_perm.log
  

  若权限不足，调整日志挂载卷的权限或容器运行用户
• 开启日志写入重试机制，在airflow.cfg中添加：

  logging_retries = 3
  logging_retry_delay = 1
  

4. Worker资源耗尽导致任务被强制终止 #

当Worker节点CPU、内存资源耗尽时，系统会直接Kill任务进程，Worker来不及生成日志，Airflow只能标记任务失败。

修复步骤：

• 监控Worker节点的CPU、内存使用率，设置资源阈值告警
• 调整Worker并发数，避免资源过载：

  # 根据节点CPU核心数调整，建议设为核心数的70%左右
  celeryd_concurrency = 4
  

• 若用Docker部署，给Worker容器设置CPU、内存配额，限制单个任务的资源占用

内容的提问来源于stack exchange，提问作者meugr