启用Hive Support后Spark仍无法创建Hive表的问题求助

问题现象 #

启用enableHiveSupport()创建Hive表时，持续抛出如下错误：

org.apache.spark.sql.AnalysisException: Hive support is required to CREATE Hive TABLE (AS SELECT);
'CreateTable `default`.`sales`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, ErrorIfExists
+- Project [num#2]
   +- SubqueryAlias test
      +- View (`test`, [num#2])
         +- Project [1 AS num#2]
            +- OneRowRelation

  at org.apache.spark.sql.errors.QueryCompilationErrors$.ddlWithoutHiveSupportEnabledError(QueryCompilationErrors.scala:1270)
  at org.apache.spark.sql.execution.datasources.HiveOnlyCheck$.$anonfun$apply$4(rules.scala:438)

问题原因 #

代码中先手动创建了SparkContext和SQLContext，再构建SparkSession。Spark 2.x及以后，SparkSession是统一的上下文入口，手动创建的旧API实例会与SparkSession实例产生冲突，导致enableHiveSupport()的配置未实际生效，后续执行SQL时使用的是未启用Hive支持的上下文环境。

另外，registerTempTable是Spark 1.x的过时方法，在Spark 2.x中已被弃用，也可能引发兼容性问题。

解决方案 #

• 移除手动创建的SparkContext和SQLContext，完全通过SparkSession获取上下文
• 确保SparkSession是第一个被初始化的上下文实例
• 使用createOrReplaceTempView替代过时的registerTempTable方法

修改后的代码 #

import org.apache.spark.sql.SparkSession
import java.io.File

val warehouseLocation =  new File("spark-warehouse").getAbsolutePath
val spark = SparkSession
    .builder()
    .appName("Spark Hive Example")
    .master("local[*]")
    .config("spark.sql.warehouse.dir", warehouseLocation)
    .enableHiveSupport()
    .getOrCreate()    

// 替代registerTempTable的写法
spark.sql("select 1 as num ").createOrReplaceTempView("test")
spark.sql("create table sales as select * from test")

内容的提问来源于stack exchange，提问作者codeBarer