使用Hudi执行Spark SQL时遇NOT_SUPPORTED_COMMAND_WITHOUT_HIVE_SUPPORT错误

错误原因 #

该错误明确说明：Spark默认的spark_catalog不支持创建Hive格式表（尤其是CREATE Hive TABLE AS SELECT这类DDL），必须启用Hive catalog实现才能支持相关操作。

解决方案 #

1. 启动Spark时指定配置参数

使用spark-shell、spark-sql或spark-submit启动Spark时，添加如下配置：

--conf spark.sql.catalogImplementation=hive

示例：

# 启动spark-shell
spark-shell --conf spark.sql.catalogImplementation=hive

# 提交Spark应用
spark-submit --conf spark.sql.catalogImplementation=hive --class com.your.package.YourApp your-app.jar

2. 编程构建SparkSession时启用Hive支持

如果通过代码构建SparkSession，直接调用enableHiveSupport()方法（该方法会自动将spark.sql.catalogImplementation设置为hive）：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("HudiHiveIntegration")
  .enableHiveSupport() // 启用Hive支持，自动关联Hive catalog
  .getOrCreate()

也可以显式配置参数：

val spark = SparkSession.builder()
  .appName("HudiHiveIntegration")
  .config("spark.sql.catalogImplementation", "hive")
  .getOrCreate()

3. 验证Hive配置有效性

• 确保Spark能访问Hive的配置文件hive-site.xml，可将该文件放置在Spark的conf目录下，或通过--files hive-site.xml参数传递给Spark应用。
• 集群环境下，确认Hive Metastore服务正常运行，且hive-site.xml中已正确配置hive.metastore.uris地址。

补充说明 #

启用Hive catalog后，Spark会使用Hive的元数据存储，创建的表可被Hive识别，同时支持Hive的SerDe格式（如报错中的LazySimpleSerDe），完全适配Hudi与Hive集成的场景。

内容的提问来源于stack exchange，提问作者Albert T. Wong