Scala独立应用中Spark SQL连接MySQL及Spark Context初始化报错排查

看起来你在Spark初始化时踩了几个新手常见的坑，我帮你梳理下问题点和修正方案：

问题根源分析 #

你的代码里有几个明显的错误导致了NullPointerException：

• 重复初始化Spark上下文：Spark 2.x之后推荐用SparkSession来统一操作，它已经内置了SparkContext，你手动创建SparkContext的操作会和SparkSession的上下文冲突，直接触发空指针。
• 未定义的变量：代码里username和password没有定义就直接使用，这也是潜在的空指针来源。
• JDBC配置位置错误：你把JDBC的连接参数（比如url、format）放到了SparkSession.builder()的config里，这些参数应该在读取JDBC数据源时指定，而不是SparkSession的全局配置。
• Master地址冲突：你同时设置了集群模式spark://10.62.10.71:7077和本地模式local，Spark不知道该用哪个上下文，导致初始化失败。

修正后的完整代码 #

下面是修复后的代码，我保留了你的核心需求：连接MySQL、过滤数据、输出JSON，同时解决了所有错误：

import org.apache.spark.sql.SparkSession
import java.util.Properties

object SparkSQLMySQLDBConnector {
  def main(args: Array[String]): Unit = {
    // 初始化SparkSession，注意只需要这一个上下文入口
    val sparkSession = SparkSession.builder()
      .appName("MySQLSparkConnector")
      // 这里根据你的运行环境选：本地测试用local[*]，集群用spark://xxx:7077
      .master("local[*]") 
      .getOrCreate()

    // 定义MySQL连接参数
    val url = "jdbc:mysql://localhost:3306/test"
    val username = "root"
    val password = ""
    val connectionProperties = new Properties()
    connectionProperties.put("user", username)
    connectionProperties.put("password", password)
    // 如果是MySQL 8.x，需要指定驱动类
    connectionProperties.put("driver", "com.mysql.cj.jdbc.Driver")

    // 加载MySQL中的employee表
    val employeeDF = sparkSession.read.jdbc(url, "employee", connectionProperties)

    // 执行SQL过滤（示例：过滤age>30的员工）
    employeeDF.createOrReplaceTempView("employee_view")
    val filteredDF = sparkSession.sql("SELECT * FROM employee_view WHERE age > 30")

    // 将结果以JSON格式输出（这里打印到控制台，也可以写入文件）
    filteredDF.toJSON.show()

    // 停止SparkSession
    sparkSession.stop()
    println("program ended")
  }
}

关键修正点说明 #

• 统一使用SparkSession：完全移除手动创建SparkContext的代码，所有操作通过SparkSession完成，这是Spark 2.x及以后的标准用法。
• 正确配置JDBC参数：把连接信息放到Properties里，读取JDBC时传入，同时MySQL 8.x必须指定新的驱动类com.mysql.cj.jdbc.Driver（旧的com.mysql.jdbc.Driver已经废弃）。
• 定义所有变量：明确声明username、password、url等变量，避免未定义导致的空指针。
• 统一Master模式：开发测试用local[*]（自动使用所有CPU核心），部署到集群时替换为你的Spark Master地址spark://10.62.10.71:7077。

类似场景的学习建议 #

对于Spark Scala操作JDBC和JSON的场景，你可以重点学习这些内容：

• Spark SQL的DataFrame和Dataset API：掌握数据加载、过滤、转换的基本操作。
• JDBC数据源配置：不同数据库（MySQL、PostgreSQL等）的驱动类、连接参数差异。
• JSON数据处理：包括toJSON、read.json等API的用法，以及JSON格式的输出配置（比如多行输出、压缩等）。
• Spark应用打包部署：如何把MySQL驱动包打包到应用中，或者在提交时通过--jars参数指定。

内容的提问来源于stack exchange，提问作者omer khalid