关于通过IntelliJ使用Spark运行Hive查询的配置与代码咨询

首先看你的build.sbt配置，这里有个关键版本不匹配问题：你的Scala版本是2.11.8，但spark-core和spark-sql依赖用的是_2.10后缀（对应Scala 2.10），这会导致依赖冲突、类加载失败等问题。推荐用Scala版本自动匹配的%%语法，修正后的配置如下：

name := "products"
version := "0.1"
scalaVersion := "2.11.8"

// 用%%自动匹配Scala版本，避免手动指定后缀出错
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.2.1"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.1"
libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.2.1"

接下来是SparkSession的代码实现，要成功运行Hive查询，必须启用Hive支持，并且正确配置元数据连接。这里给你补全并优化代码片段：

import org.apache.spark.sql.SparkSession

object HiveQueryDemo {
  def main(args: Array[String]): Unit = {
    // 构建SparkSession时启用Hive支持
    val spark = SparkSession.builder()
      .appName("Hive Query Test")
      .master("local[*]") // 本地调试用，生产环境请删除该配置，由集群管理器指定
      .enableHiveSupport() // 核心：开启Hive集成
      // 如果是远程Hive元数据服务，添加以下配置（根据实际情况修改）
      // .config("spark.sql.hive.metastore.uris", "thrift://your-metastore-host:9083")
      .getOrCreate()

    // 执行简单Hive查询示例
    try {
      spark.sql("SHOW DATABASES").show() // 先测试元数据连接
      spark.sql("SELECT * FROM your_table_name LIMIT 10").show()
    } finally {
      spark.stop() // 务必关闭SparkSession
    }
  }
}

额外注意事项： #

• Hive配置文件：把你的hive-site.xml放到项目的src/main/resources目录下，Spark会自动读取其中的元数据配置（比如Metastore地址、数据库连接信息等）。
• 版本兼容性：Spark 2.2.1兼容的Hive版本范围大概是1.2.x到2.1.x，如果你的Hive版本太高，可能会出现元数据交互异常。
• IntelliJ运行配置：确保运行时的JDK版本和Spark兼容（Spark 2.2.1推荐用JDK 8），并且VM参数里没有冲突的配置。

内容的提问来源于stack exchange，提问作者skg