运行Airflow Spark任务DAG时遇NameError及无可用DAG问题求助

问题根源 #

报错说明你的sparkoperator_demo.py代码中使用了名为args的变量，但该变量未被定义就直接引用了，通常是DAG默认参数部分缺失或变量名不匹配导致的。

具体修复步骤 #

1. 补全默认参数定义
   在DAG代码开头添加args（或default_args）的定义，示例如下：

   from datetime import datetime, timedelta
   from airflow import DAG
   from airflow.providers.apache.spark.operators.spark_submit import SparkSubmitOperator
   
   # 定义DAG默认参数，变量名要和后续DAG初始化时一致
   args = {
       'owner': 'airflow',
       'depends_on_past': False,
       'start_date': datetime(2024, 1, 1),
       'email_on_failure': False,
       'email_on_retry': False,
       'retries': 1,
       'retry_delay': timedelta(minutes=5),
   }
   

   如果你参照的教程里用的是default_args，就把变量名改成default_args，保持前后一致。

2. 确保DAG初始化时传递正确参数
   初始化DAG时，要把定义好的参数传入default_args参数：

   dag = DAG(
       'spark_submit_demo',
       default_args=args,  # 这里的变量名要和上面定义的一致
       description='Airflow Spark Submit Demo',
       schedule_interval=timedelta(days=1),
       catchup=False,
   )
   

   如果你之前写的是default_args=args但没定义args，就会触发这个错误。

3. 检查代码完整性
   确认所有必要的模块都已导入，尤其是datetime、timedelta以及SparkSubmitOperator相关的类，避免因导入缺失引发其他隐性错误。

4. 验证修复结果
   修改代码后，等待Airflow自动扫描DAG目录（通常1-2分钟），或在Airflow UI点击顶部的"Refresh"按钮刷新DAG列表。如果仍有错误，查看Airflow scheduler容器的日志，定位具体报错行，进一步排查。

内容的提问来源于stack exchange，提问作者KuRu