如何排查并修复Airflow DAG中运行失败的任务？附问题代码示例

你的代码存在以下几类问题，按优先级排序：

• 语法错误：default_args字典未闭合，定义末尾缺少右大括号}，会直接触发DAG语法解析失败。
• 语法错误：定义DAG时使用的With首字母大写，Python大小写敏感，必须改为小写with。
• 语法错误：任务依赖拼写错误，你定义的PythonOperator变量名为transform_data，但依赖关系写为transform_date >> task_end，属于笔误，修正为transform_data >> task_end即可。
• 不规范写法：PythonOperator变量名和处理函数名均为transform_data，属于变量名覆盖，虽然不会直接报错，但容易引发后续逻辑混乱，建议调整变量名区分。
• 运行环境问题：代码中使用Windows格式的C:/绝对路径，如果你的Airflow运行在Linux、WSL、Docker等非Windows环境下，无法识别该路径，同时需要确认Airflow的运行用户对目标路径拥有读写权限。
• 依赖缺失问题：默认Airflow环境未预装pandas库，需要确认你的Airflow Worker节点已经安装pandas，否则会触发ImportError。

• 优先做DAG语法校验：在Airflow运行环境的终端执行airflow dags list，如果DAG存在语法错误，会直接输出明确的报错信息和错误行号，可快速定位所有语法类问题。
• 单任务独立测试：无需等待调度器触发任务，直接执行命令airflow tasks test <DAG ID> <任务ID> <执行日期>，本次可直接执行airflow tasks test data_pipeline transform_data 2021-09-01，命令会直接运行目标任务并输出完整的报错栈，测试结果不会写入Airflow元数据库，非常适合快速调试逻辑问题。
• 查看任务运行日志：Airflow WebUI中点击失败的任务，选择「Log」选项即可查看任务运行的全量日志，所有报错类型（包括文件不存在、权限不足、依赖缺失等）都会有明确的错误提示。
• 最小单元验证：如果业务逻辑复杂，可以先将Python函数替换为最简单的测试逻辑（比如打印当前路径、写入测试文件等），先确认环境、权限、依赖都正常后再逐步叠加业务逻辑，降低排查难度。

内容的提问来源于stack exchange，提问作者Jammy