spark.sql.catalogImplementation配置不一致问题求助

排查修复步骤 #

• 直接在Spark-Magic会话初始化时指定参数
  Spark-Magic可能没自动读取spark-defaults.conf，初始化时显式传参：

  %%spark
  spark.conf.set("spark.sql.catalogImplementation", "hive")
  

  或者创建会话时直接指定：

  %spark add -s mysession -c spark.sql.catalogImplementation=hive
  

• 检查Spark-Magic配置文件
  找到Spark-Magic的配置文件（一般是~/.sparkmagic/config.json），在session_configs里添加Hive配置：

  {
    "session_configs": {
      "spark.sql.catalogImplementation": "hive",
      "spark.sql.warehouse.dir": "/path/to/your/hive/warehouse",
      "spark.hadoop.hive.metastore.uris": "thrift://your-metastore-host:9083"
    }
  }
  

  修改后重启Jupyter服务。

• 确认Jupyter进程的环境变量
  Jupyter启动时可能没加载Spark环境变量，在Jupyter里执行代码检查：

  import os
  print(os.environ.get('SPARK_HOME'))
  print(os.environ.get('HADOOP_CONF_DIR'))
  

  如果为空，启动Jupyter前先加载Spark和Hadoop环境变量：

  source /path/to/spark/bin/spark-env.sh
  jupyter notebook
  

  也可以修改Jupyter启动脚本，加入这些环境变量的加载逻辑。

• 验证Hive依赖完整性
  确保Spark的jars目录下有Hive相关依赖包（比如hive-metastore、hive-exec），且Jupyter使用的Spark环境和本地pyspark shell是同一个版本，避免版本兼容问题。

验证配置是否生效 #

在Jupyter的Spark会话中执行以下代码：

print(spark.conf.get("spark.sql.catalogImplementation"))
spark.sql("show databases").show()

如果输出hive且能列出Hive数据库，说明配置成功。

内容的提问来源于stack exchange，提问作者Malinda Peiris