Scala开发Spark应用spark-submit提交时CSV多数据源匹配报错如何解决

异常产生原理 #

这个异常本质是Spark数据源加载机制的类路径冲突问题：
Spark 在加载指定格式的数据源时，会通过类路径扫描、SPI注册机制匹配与传入格式短名称对应的实现类。当调用简写的format("csv")时，Spark 会查找所有注册名映射为"csv"的实现类，当类路径下同时存在两个及以上匹配的实现类时，无法自动决策加载优先级，就会抛出当前的AnalysisException。
触发本次异常的直接原因，是提交的业务Jar包错误打包了Spark核心依赖：

• 类路径下同时存在两个CSV数据源实现：属于Spark 1.x-2.x版本v1数据源接口的org.apache.spark.sql.execution.datasources.csv.CSVFileFormat，以及Spark 3.x开始引入的v2数据源接口的org.apache.spark.sql.execution.datasources.v2.csv.CSVDataSourceV2
• Spark 类加载机制中，用户提交的业务Jar内的类拥有更高的加载优先级，正常运行时集群节点已自带Spark核心依赖，业务Jar无需重复包含这些类；但如果打包时未设置依赖的provided范围，会将全部Spark核心类打入业务Jar，和节点自带的类形成重复注册，哪怕集群本身只配置了单一版本的Spark，只要业务Jar内混入了两个CSV实现类，就会被优先扫描到，最终触发冲突校验报错。

可落地的修复方案 #

• 从根源解决打包冲突
  调整构建配置，将所有Spark核心相关依赖（包括spark-core、spark-sql、spark-catalyst等）的依赖范围设置为provided，这些依赖会由Spark集群节点的公共类路径提供，无需打入业务Jar。
  • Maven项目：在对应Spark依赖的<dependencies>节点下增加<scope>provided</scope>标记
  • SBT项目：在依赖定义后增加% Provided标记
    调整后重新打包，校验生成的Jar内部是否还包含org/apache/spark/sql/execution/datasources路径下的CSV相关类，确认不存在重复类后重新提交任务即可。
• 临时快速绕开冲突
  如果不需要重新打包即可快速调试，可在读取CSV时显式指定要加载的数据源全限定类名，替代简写的"csv"格式标识，跳过短名称匹配的冲突校验：
  • Spark 3.x 环境：使用spark.read.format("org.apache.spark.sql.execution.datasources.v2.csv.CSVDataSourceV2")
  • Spark 2.x 环境：使用spark.read.format("org.apache.spark.sql.execution.datasources.csv.CSVFileFormat")
    该方法仅适合临时调试使用，长期运行仍需修正打包配置，避免类冲突带来的版本不兼容、序列化失败等其他潜在问题。
• 冲突前置校验方法
  打包完成后可执行命令jar tf 你的业务Jar包路径 | grep "csv"，排查Jar内部是否混入了Spark自带的数据源实现类，提前发现打包配置问题，避免提交任务后再触发报错。

内容的提问来源于stack exchange，提问作者amelie