Airflow使用SparkSqlOperator报metastore错误，无法对接配置Hive的Spark3

问题根因 #

你遇到的报错核心原因是Airflow运行SparkSqlOperator时没有读取到你配置好的Hive元数据信息，默认启用了Spark内置的Derby数据库作为元存储，而Airflow任务执行用户没有权限在根目录创建Derby需要的derby.log和metastore_db目录。你直接执行pyspark3正常是因为当前用户的环境变量配置正确，能读取到Spark3的配置文件对接外部Hive metastore。

解决方案 #

按以下步骤修改配置即可解决：

• 明确指定Spark3的执行路径
  SparkSqlOperator默认会找系统默认的spark-sql命令，你需要通过spark_binary参数指定为Spark3对应的spark-sql可执行文件路径，避免调用到低版本Spark。
• 显式传入Hive元数据配置
  直接在Operator参数中传入Hive metastore地址，不需要依赖本地配置文件读取，避免环境变量差异导致的配置丢失。
• （可选）统一配置环境变量
  在Airflow的worker服务配置中加入SPARK_HOME、HADOOP_CONF_DIR环境变量，指向你Spark3和Hadoop配置的实际存放路径，确保所有Spark任务都能读到正确配置。

修改后的代码示例 #

from airflow.providers.apache.spark.operators.spark_sql import SparkSqlOperator

dag = DAG(
    dag_id='test_pyspark_sql',
    default_args=default_args,
    schedule_interval='@daily'
)

sql_job = SparkSqlOperator(
    sql="SELECT * FROM test_af.emp_table", 
    master="yarn", 
    task_id="sql_job", 
    dag=dag,
    # 替换为你实际的Spark3中spark-sql的可执行文件路径
    spark_binary="/opt/spark3/bin/spark-sql",
    # 传入Hive元数据配置，和你pyspark3使用的配置保持一致
    conf={
        "spark.hadoop.hive.metastore.uris": "thrift://你的metastore服务地址:9083",
        "spark.sql.warehouse.dir": "/user/hive/warehouse"
    }
)

补充检查项 #

• 确认Airflow worker的运行用户对Spark3安装目录有可读权限，对Hive表对应的HDFS路径有访问权限
• 如果你的集群开启了Kerberos认证，需要额外在Operator中传入principal、keytab参数完成认证
• 若你倾向使用本地配置文件，也可以将hive-site.xml放到Airflow服务的classpath路径下，或者在conf参数中指定spark.hadoop.hive.metastore.config.path为配置文件路径

内容的提问来源于stack exchange，提问作者Rocky1989