Docker环境下Spark+Zeppelin无法通过JDBC连接MySQL问题排查

这个错误的核心是Spark执行上下文没有正确加载到MariaDB/MySQL的驱动jar包，以下是具体的排查和解决步骤：

1. 确认驱动jar在容器内的实际存在性 #

• 用docker命令进入容器，检查挂载的驱动jar是否真的存在：

  docker exec -it <你的zeppelin容器ID/名称> ls /挂载的jar路径
  

  比如你在docker-compose里配置了./drivers/mariadb-java-client.jar:/opt/zeppelin/jars/mariadb-java-client.jar，就执行ls /opt/zeppelin/jars/mariadb-java-client.jar，确保文件存在且权限正常（可以用ls -l查看权限）。
• 如果挂载的是目录，要确认本地目录里的jar已经同步到容器内，避免本地文件新增后容器没更新的情况（可以重启容器试试）。

2. 检查SPARK_SUBMIT_OPTIONS的参数格式 #

• 正确的参数格式应该是多个jar用逗号分隔，无空格，比如：

  SPARK_SUBMIT_OPTIONS: "--jars /opt/zeppelin/jars/mariadb-java-client.jar,/opt/zeppelin/jars/mysql-connector-java.jar"
  

• 验证容器内的环境变量是否生效：

  docker exec -it <你的zeppelin容器ID/名称> echo $SPARK_SUBMIT_OPTIONS
  

  输出必须完全匹配你配置的内容，没有截断或格式错误。

3. 检查Zeppelin Spark Interpreter的配置 #

• 登录Zeppelin UI，进入Interpreters页面，找到Spark interpreter：
  • 查看spark.submit.options字段，确认是否包含了--jars参数，有时候Zeppelin会忽略环境变量的SPARK_SUBMIT_OPTIONS，需要手动在这里配置。
  • 也可以添加spark.driver.extraClassPath和spark.executor.extraClassPath参数，值为驱动jar的绝对路径（多个路径用冒号分隔，Linux下），比如：

    spark.driver.extraClassPath = /opt/zeppelin/jars/mariadb-java-client.jar
    spark.executor.extraClassPath = /opt/zeppelin/jars/mariadb-java-client.jar
    

• 修改配置后记得重启Spark interpreter。

4. 确保驱动类与jar包匹配 #

• 如果你的代码里用的是org.mariadb.jdbc.Driver，必须对应MariaDB的驱动jar；如果用com.mysql.cj.jdbc.Driver，则需要MySQL的官方驱动jar，不要混淆使用。
• 同时检查驱动版本兼容性：Spark 3.x建议搭配MariaDB驱动2.7.x以上，MySQL 8.0需要mysql-connector-java 8.0.x版本，避免版本不兼容导致的加载失败。

5. 尝试将驱动jar放入Spark默认加载目录 #

• Spark默认会加载$SPARK_HOME/jars下的jar包，你可以在docker-compose里把驱动jar挂载到这个目录（比如容器内的/opt/spark/jars），然后重启容器，这样Spark会自动加载驱动，无需额外配置--jars参数。

6. 绕过Zeppelin直接测试Spark连接 #

• 在容器内写一个简单的Scala测试脚本（保存为TestMySQL.scala）：

  import org.apache.spark.sql.SparkSession
  
  object TestMySQL {
    def main(args: Array[String]): Unit = {
      val spark = SparkSession.builder()
        .appName("TestMySQL")
        .master("local[*]")
        .getOrCreate()
  
      val df = spark.read.format("jdbc")
        .option("url", "jdbc:mariadb://你的MySQL地址:3306/数据库名")
        .option("dbtable", "表名")
        .option("user", "用户名")
        .option("password", "密码")
        .option("driver", "org.mariadb.jdbc.Driver")
        .load()
  
      df.show()
      spark.stop()
    }
  }
  

• 用spark-submit提交测试：

  spark-submit --jars /opt/zeppelin/jars/mariadb-java-client.jar --class TestMySQL TestMySQL.scala
  

  如果这个命令能成功运行，说明是Zeppelin interpreter的配置问题；如果还是报错，就是Spark的驱动加载配置有问题。

内容的提问来源于stack exchange，提问作者cattuong nguyenle