PySpark连接MariaDB触发java.lang.ClassNotFoundException问题求助

我来帮你梳理这个问题——虽然Spark日志显示Jar包已经被成功添加，但还是抛出org.mariadb.jdbc.Driver找不到的异常，通常是类加载优先级或代码逻辑细节导致的，结合你的操作和代码，我整理了几个核心排查方向：

1. 先修正代码里的变量覆盖问题 #

你在创建完SparkSession后，又用spark = spark.read...重新赋值了spark变量！这会把原本的SparkSession实例覆盖成DataFrame对象，不仅可能导致驱动加载逻辑失效，后续其他依赖SparkSession的操作也会出错。

正确写法应该用不同变量名存储读取的DataFrame：

# 保留原SparkSession实例，用新变量接收DataFrame
df = spark.read.format('jdbc').option('dbtable', sql)\
    .option('url', 'jdbc:mariadb://{host}:{port}/{db}')\
    .option("user", SOME_USER)\
    .option("password", SOME_PASSWORD)\
    .option("driver", 'org.mariadb.jdbc.Driver')\
    .load()

2. 改用spark-submit命令行传递Jar包（优先级更高） #

代码内配置spark.jars/extraClassPath有时会因为Driver类加载时机的问题不生效，更可靠的方式是在提交脚本时显式传递Jar包参数，同时去掉代码里的相关配置避免冲突：

spark-submit --jars /PATH/TO/JDBC/mariadb-java-client-2.7.1.jar your_spark_script.py

这种方式会确保Driver和Executor端都能正确加载Jar包内的类。

3. 验证Jar包本身的完整性 #

确认你使用的mariadb-java-client-2.7.1.jar确实包含目标驱动类，可通过以下命令检查：

jar tf /PATH/TO/JDBC/mariadb-java-client-2.7.1.jar | grep "org/mariadb/jdbc/Driver.class"

如果没有输出，说明Jar包损坏或下载错误，重新从MariaDB官方渠道下载对应版本的Jar包即可。

4. 集群模式下的Jar包分发检查 #

如果是在YARN等集群模式下运行：

• 若使用本地路径，需保证所有Executor节点的相同路径下都存在该Jar包；
• 更稳妥的方式是将Jar包上传到HDFS，然后用HDFS路径配置，确保集群所有节点都能拉取到Jar包。

先优先修正变量覆盖的低级错误，再尝试用spark-submit --jars的方式传递Jar包，这两个步骤大概率能解决你的问题。

内容的提问来源于stack exchange，提问作者chl