Apache Airflow：DAG Bag加载失败及多任务回调异常求助

针对你遇到的两类Apache Airflow问题，我整理了具体的分析和解决方案： #

一、无法加载DAG Bag导致任务失败

DAG Bag加载失败通常是DAG文件本身、配置或权限问题引发的，你可以按以下步骤逐一排查：

• 检查DAG文件语法正确性：直接用Python运行你的DAG文件（python /path/to/your/dag.py），如果存在语法错误、依赖缺失，会直接抛出异常——这是最常见的触发原因。
• 验证DAG目录配置与权限：确认airflow.cfg中的dags_folder指向正确的目录，并且Airflow调度器进程拥有该目录的读权限（比如Linux下的airflow用户能正常访问这个目录）。
• 清理DAG缓存并重启调度器：Airflow会缓存DAG文件，缓存过期或损坏时会导致加载失败。你可以删除$AIRFLOW_HOME/dags下的临时缓存文件，然后重启调度器，再用airflow dags list命令验证DAG是否能被正常识别。
• 查看调度器详细日志：检查airflow-scheduler.log（不是airflow-scheduler.out）里的DAG加载相关日志，里面会有更具体的报错信息，比如某个DAG文件的导入错误、缺少环境变量等。

二、自定义on_failure_callback在多任务DAG中随机出现operator为null的失败

你提到的日志报错：

[2018-05-08 14:24:21,237] {models.py:1595} ERROR - Executor reports task instance %s finished (%s) although the task says its %s. Was the task killed externally? NoneTy...

结合operator为null的现象，这大概率是Airflow旧版本中任务实例状态同步的竞态条件，或者回调函数的线程安全问题导致的，解决方案如下：

• 避免直接依赖task_instance.operator属性：在回调函数中，不要直接使用task_instance.operator，而是通过DAG对象重新获取任务，这样更可靠：

  def custom_failure_callback(context):
      task_instance = context['task_instance']
      dag = task_instance.dag
      # 通过task_id获取稳定的任务对象
      task = dag.get_task(task_instance.task_id)
      # 后续用task代替task_instance.operator进行操作
  

• 确保回调函数线程安全：Airflow调度器是多线程运行的，回调函数如果涉及共享资源（比如数据库连接、文件操作），要加锁或者使用线程安全的工具，避免并发导致的属性异常。
• 添加异常捕获处理：在回调里对NoneType情况做兜底处理，防止回调失败导致任务状态异常：

  def custom_failure_callback(context):
      task_instance = context['task_instance']
      try:
          operator = task_instance.operator
          if not operator:
              # 兜底逻辑：从DAG重新获取任务
              dag = task_instance.dag
              operator = dag.get_task(task_instance.task_id)
          # 你的核心回调逻辑
      except AttributeError as e:
          # 记录日志，避免回调失败影响任务状态
          import logging
          logging.error(f"Callback failed due to NoneType operator: {e}")
  

• 升级Airflow版本：你使用的是2018年的早期版本（日志时间），这类版本存在很多任务实例状态同步的bug，升级到1.10.x的稳定版本（比如1.10.15）或者2.x版本，这类问题会被大量修复。
• 排查任务是否被外部杀死：日志里提到"Was the task killed externally?"，你可以检查服务器的系统日志（比如/var/log/syslog），看是否有OOM killer、进程被强制终止的记录——外部终止会导致任务实例属性不完整，进而触发operator为null的情况。

内容的提问来源于stack exchange，提问作者Lin Forest