Spark 3.0.1运行报JsonMappingException：Scala模块Jackson版本校验失败

该异常本质是Spark on YARN环境下的类加载顺序冲突，和应用打包的Jackson版本是否兼容没有直接关系，具体触发逻辑如下：

• Spark 3.0.1 on YARN采用双层类加载机制：第一层是YARN NodeManager的系统类加载器，会优先加载节点公共lib目录下的所有公共依赖；第二层是Spark应用专属的URLClassLoader，仅在系统类加载器找不到对应类时，才会加载上传到分布式缓存的应用依赖包。
• jackson-module-scala内置的版本校验逻辑，是在模块初始化阶段通过Package.getPackage("com.fasterxml.jackson.databind")读取包的版本元信息做比对，这个操作获取的是系统类加载器最先加载的那份Jackson Databind jar的版本，而非应用层ClassLoader加载的版本。
• 应用代码中通过new ObjectMapper().version()打印版本时，代码逻辑已经运行在应用专属类加载器的作用域下，拿到的是应用自己携带的2.10.0版本，和Scala模块初始化时读到的系统类加载器提前加载的老版本（比如2.9.x）完全不是同一个加载实例，因此哪怕版本区间匹配，依然会触出版本校验失败异常。
• 当前应用依赖列表中存在小版本不一致的Jackson组件（如jackson-datatype-jsr310-2.10.3与其他组件的2.10.0版本差异），本身虽然在官方兼容区间内，但类加载器解析包元信息时可能因为版本碎片问题放大校验失败的概率，但并非异常的核心触发原因。

• 优先调整YARN类加载优先级配置
  强制指定应用专属类加载器优先加载应用自带的依赖，从根源上避免系统类加载器提前加载老版本Jackson Databind，提交Spark任务时增加如下配置：

  --conf spark.driver.userClassPathFirst=true
  --conf spark.executor.userClassPathFirst=true
  --conf spark.yarn.user.classpath.first=true
  

  注意：如果集群启用了安全沙箱限制，需要联系集群管理员开放上述配置的调整权限，部分生产集群默认会禁用用户类路径优先的选项，避免依赖冲突影响其他任务。
• 显式排除公共路径下的冲突Jackson依赖
  在Spark提交参数中指定统一的Spark Jar包路径，避免系统类加载器加载公共目录下的冲突Jackson包：

  --conf spark.yarn.jars=hdfs:///your/path/to/spark/jars/*
  

  也可以直接在YARN NodeManager节点的公共lib目录中，将和应用版本不一致的Jackson Databind包移动到备份目录，避免被系统类加载器加载。
• 兜底方案：绕过Scala Jackson模块的版本校验
  如果集群权限受限无法调整类加载策略，可以在应用启动的最早期（main方法首行），通过反射修改jackson-module-scala内置的版本校验阈值，使其匹配系统类加载器实际读到的Jackson版本，跳过强制校验逻辑。
  该方案属于临时兜底手段，长期使用存在API不兼容的潜在风险，仅适用于无法调整集群配置的紧急场景。
• 对齐所有Jackson组件的小版本
  将应用中零散的jackson-datatype-jsr310-2.10.3统一调整为和其余Jackson组件一致的2.10.0版本，避免因为小版本元信息差异触发额外的类加载解析异常。

在抛出异常的代码位置增加一行日志，打印Scala模块校验时实际读取到的Jackson版本：

logger.info("实际加载的Databind版本: " + com.fasterxml.jackson.databind.ObjectMapper.class.getPackage.getImplementationVersion)

如果打印的版本和预期的2.10.0不一致，即可完全确认是类加载顺序导致的冲突。

注：内容的提问来源于stack exchange，提问作者Makrushin Evgenii