Airflow中如何无需单独运行任务即可测试TaskGroup内所有任务

有可行方案，不需要运行整个DAG，也不需要逐个手动触发组内任务，最简便的方式是借助Airflow CLI的任务测试能力，配合TaskGroup自带的ID命名规则实现批量执行：

实现逻辑 #

Airflow里TaskGroup下的所有子任务，生成的完整任务ID会自动带上组名前缀，格式为[TaskGroup ID].[子任务ID]，如果是多层嵌套的TaskGroup，前缀会按层级逐层拼接。而airflow tasks test命令支持传入正则表达式匹配任务ID，可以一次性命中目标组下的全部任务。

操作方式 #

对应你给出的示例代码（目标TaskGroup ID为test，DAG ID为sample_dag），直接在Airflow部署环境的命令行执行以下命令即可：

airflow tasks test sample_dag "^test\..*" 2022-01-01

各参数含义：

• sample_dag：待测试的DAG ID
• "^test\..*"：正则匹配规则，只匹配完整ID以test.开头的任务，刚好覆盖test组下的三个任务：test.es_conn_cl、test.es_conn_sr、test.internet_conn，不会误触发其他TaskGroup（哪怕其他组ID以test开头，比如test_backup这类，因为其下任务ID前缀是test_backup.，不符合匹配规则），你代码里的TaskGroup2、TaskGroup3等其他组任务完全不会运行
• 2022-01-01：任务运行的逻辑日期，填DAG配置里的合法日期即可，这里直接和你设置的start_date保持一致就行

方案特点 #

• 仅运行目标TaskGroup内的任务，不会触发DAG其余部分，满足局部测试要求
• 组内任务会严格按照你预先定义的依赖顺序执行，和正式调度的运行逻辑完全一致
• tasks test模式下的运行记录不会写入Airflow元数据库，不会干扰正式调度的历史数据，适合开发调试场景
• 支持嵌套TaskGroup，如果要测试多层嵌套的组，只需要把正则前缀改成对应组的层级前缀即可，比如要测试group1下嵌套的sub_group2全量任务，正则写"^group1\.sub_group2\..*"就行

不要用airflow dags test命令，这个命令会运行整个DAG的所有任务，达不到局部测试的目的。

内容的提问来源于stack exchange，提问作者j7skov