Airflow动态任务映射失效：为何未生成指定数量任务？

以下是导致动态映射任务未创建、Mapped Tasks标签页显示无数据的核心原因及对应解决方案：

1. Airflow依赖变量未创建 #

你的代码直接调用Variable.get('num_tasks')和Variable.get('mem_to_consume')获取变量，但如果这两个变量未在Airflow中创建，会触发KeyError导致DAG解析失败，无法生成任何任务。

• 解决：在Airflow UI的Admin > Variables页面创建这两个变量，设置合法的整数值（例如num_tasks=5，mem_to_consume=1048576）。

2. 映射任务未被DAG正确识别 #

虽然你调用了任务的partial().expand()方法，但在部分Airflow版本中，未将映射任务实例赋值给变量可能导致DAG无法识别该任务。

• 解决：将映射任务结果赋值给变量，修改代码如下：

  @dag(schedule=None, start_date=datetime(2024, 11, 15), catchup=False)
  def test_autoscaling():
      # ... 原有task定义 ...
  
      num_tasks = int(Variable.get('num_tasks'))
      mem_to_consume = int(Variable.get('mem_to_consume'))
      # 赋值变量，确保DAG识别映射任务
      mapped_consume_tasks = consume_mem.partial(mem_to_consume=mem_to_consume).expand(index=list(range(num_tasks)))
  

3. 变量值无效导致无任务生成 #

如果num_tasks的值为0或负数，list(range(num_tasks))会生成空列表，此时不会创建任何映射任务，Mapped Tasks标签页自然显示无数据。

• 解决：检查num_tasks变量的值，确保其为正整数。

4. DAG解析失败（存在语法/运行时错误） #

如果变量值不是合法整数（比如字符串），或者代码存在其他异常，Airflow会将该DAG标记为broken，UI中无法显示任务信息。

• 解决：查看Airflow调度器日志（执行airflow scheduler logs），定位DAG解析报错信息，修复对应问题。

5. Airflow版本兼容性问题 #

Airflow 2.3.x及更早版本的任务映射功能存在部分缺陷，UI的Mapped Tasks标签页可能无法正确显示映射任务元数据。

• 解决：升级Airflow到2.4+的稳定版本。

内容的提问来源于stack exchange，提问作者boogie