Spark Standalone中多JDBC Jar读取PySpark Dataframe报错求助

你遇到的java.lang.NoClassDefFoundError: scala/collection/IterableOnce是Scala版本冲突导致的：

• Spark 3.0.2底层依赖Scala 2.12，而IterableOnce是Scala 2.13才新增的接口
• 你添加的多个JDBC Jar中，至少有一个依赖了Scala 2.13的类库，和Spark自带的Scala 2.12环境不兼容

1. 排查冲突Jar包 #

• 用jar tf [Jar文件名]命令逐个检查你添加的JDBC驱动包，确认是否包含scala/collection/IterableOnce.class或其他Scala 2.13专属类
• 重点排查第三方封装的JDBC驱动（部分非官方驱动会打包Scala依赖）

2. 替换兼容Scala 2.12的驱动 #

下载数据库官方提供的纯JDBC驱动包（无Scala依赖）：

• Oracle：使用ojdbc8.jar或ojdbc10.jar（官方原生驱动，不依赖任何Scala类）
• SQL Server：使用mssql-jdbc-*.jar（官方驱动，无Scala依赖）

3. 正确指定Jar包加载方式 #

放弃环境变量配置，直接在启动或代码中明确指定需要的驱动，避免类路径污染：

启动PySpark时指定 #

pyspark --jars /path/to/ojdbc8.jar,/path/to/mssql-jdbc-9.4.1.jre8.jar

Python代码中通过SparkConf指定 #

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("MultiRDBMSReader") \
    .config("spark.jars", "/path/to/ojdbc8.jar,/path/to/mssql-jdbc-9.4.1.jre8.jar") \
    .getOrCreate()

4. 清理冲突依赖 #

• 删除系统环境变量中配置的多余Scala相关Jar
• 清理Spark安装目录jars下可能存在的Scala 2.13类库
• 若使用虚拟环境，检查并移除环境内混入的高版本Scala依赖

内容的提问来源于stack exchange，提问作者MkKnight