Spark程序无法通过Eclipse连接MySQL中的Hive上下文问题排查

我之前也碰到过几乎一模一样的问题，大概率是Eclipse项目里的依赖或者配置没跟上Spark-shell的环境，咱们一步步排查解决：

1. 先补全项目依赖 #

Spark-shell会自动加载系统环境里的Hive相关依赖，但Eclipse项目得手动配置：

• 如果用SBT管理项目，在build.sbt里添加这两个关键依赖（版本要和你的Spark对应，比如Spark 2.4.x配下面的版本）：

  libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-hive" % "2.4.8",
    "mysql" % "mysql-connector-java" % "5.1.49"
  )
  

• 如果是手动导包，把spark-hive_2.11-x.x.x.jar和mysql-connector-java-x.x.x.jar放到项目的lib目录，右键选择「Add to Build Path」。

2. 把Hive配置文件放进项目 #

Spark-shell能读取系统里的hive-site.xml，但Eclipse项目默认不会。你需要：

• 找到服务器上的hive-site.xml（一般在$HIVE_HOME/conf目录下），复制到Eclipse项目的src/main/resources文件夹（没有的话新建一个）。
• 确认文件里的MySQL元存储配置正确，比如：

  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive_metadata?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>你的Hive数据库用户名</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>你的Hive数据库密码</value>
  </property>
  

3. 代码里启用Hive支持 #

你的Spark程序必须创建支持Hive的SparkSession，不能用普通的Session。示例代码如下：

import org.apache.spark.sql.SparkSession

object HiveMetaStoreTest {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("HiveTest")
      .master("local[*]") // 本地运行用这个，集群模式请去掉
      .enableHiveSupport() // 这一行是核心！必须加
      .getOrCreate()

    // 测试读取元存储
    spark.sql("show databases").show()
    spark.sql("use 你的数据库名").show()
    spark.sql("show tables").show()

    spark.stop()
  }
}

千万别漏掉.enableHiveSupport()，这是连接Hive元存储的关键开关。

4. 核对Eclipse运行环境 #

• 确认Eclipse的JRE和Spark-shell用的是同一个版本：打开「Run Configurations」→「JRE」，选择OpenJDK 64-Bit Server VM 1.8.0_151。
• 如果是集群提交任务，还要确保提交时的classpath包含Hive配置和MySQL驱动，但本地运行的话前面几点就够了。

5. 最后检查MySQL连接权限 #

• 用MySQL客户端测试一下：Eclipse所在机器能不能连接到MySQL服务器，Hive的数据库用户有没有hive_metadata库的读写权限。
• 确认MySQL的3306端口没有被防火墙挡住。

如果还是不行，把Eclipse控制台的报错信息贴出来，比如是找不到驱动、连接超时还是元存储权限问题，再针对性调整。

内容的提问来源于stack exchange，提问作者Adithya