Spark Scala使用JDBC读取MySQL时遭遇Warehouse路径空指针异常

看起来你遇到的空指针异常（NPE）是核心问题，而Warehouse路径提示只是Spark默认行为的附带信息，我们先聚焦解决NPE，再处理Warehouse的提示。

核心问题：JDBC连接导致的空指针异常 #

这个NPE出现在JDBCRDD$.resolveTable方法里，通常是因为Spark无法正确建立JDBC连接或定位到指定表，常见原因和修复方案如下：

• 修正JDBC URL格式
  你的URL只指定了IP和端口，缺少数据库名称，这会导致Spark无法定位目标表所在的库。正确的URL格式应该是：

  jdbc:mysql://xx.xx.xx.xx:3306/your_database_name
  

  把your_database_name替换成你实际要连接的MySQL数据库名。

• 匹配MySQL版本的驱动类
  如果你的MySQL是8.0及以上版本，旧的com.mysql.jdbc.Driver已被废弃，需要使用新驱动类：

  com.mysql.cj.jdbc.Driver
  

  若使用MySQL 5.x版本，保留com.mysql.jdbc.Driver即可。

• 确保引入正确的JDBC驱动依赖
  项目必须包含MySQL JDBC驱动依赖，否则Spark找不到驱动类：

  • SBT示例：

    libraryDependencies += "mysql" % "mysql-connector-java" % "8.0.33" // 对应MySQL 8.x
    

  • Maven示例：

    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.33</version>
    </dependency>
    

• 使用SparkSession替代旧的sqlContext
  sqlContext是Spark 1.x的API，Spark 2.x及以上推荐用SparkSession初始化上下文，避免兼容性问题。示例代码：

  import org.apache.spark.sql.SparkSession
  
  val spark = SparkSession.builder()
    .appName("MySQLDataReader")
    .master("local[*]") // 本地测试用，生产环境请移除
    .getOrCreate()
  
  val dataframe_mysql = spark.read.format("jdbc")
    .option("url", "jdbc:mysql://xx.xx.xx.xx:3306/your_database_name")
    .option("driver", "com.mysql.cj.jdbc.Driver")
    .option("dbtable", "schema.xxxx") // 若schema是数据库名，可省略（URL已指定库）
    .option("user", "xxxx")
    .option("password", "xxxxx")
    .load()
  

处理Warehouse路径提示 #

这个提示只是Spark默认使用本地spark-warehouse目录作为元数据仓库的告知信息，本身不是错误。若想消除提示，可在SparkSession初始化时显式指定Warehouse路径：

val spark = SparkSession.builder()
  .appName("MySQLDataReader")
  .master("local[*]")
  .config("spark.sql.warehouse.dir", "file:/path/to/your/custom/warehouse")
  .getOrCreate()

或者配置HADOOP_HOME环境变量，Spark会自动使用Hadoop文件系统管理Warehouse。

内容的提问来源于stack exchange，提问作者Fouad Haddud