本地PySpark读取XML失败：版本不兼容问题排查与修复咨询

错误1：SparkClassNotFoundException（找不到XML数据源） #

这个问题本质是本地Spark默认不带XML数据源扩展——Databricks内置了spark-xml依赖，所以直接跑代码就行，但本地必须手动引入对应的jar包才能识别xml格式。

解决方式：

• 启动PySpark时必须显式指定spark-xml的jar包路径；如果是非交互式脚本场景，也可以在SparkSession配置中添加依赖。

错误2：java.lang.NoClassDefFoundError: scala/$less$colon$less #

这是典型的版本不兼容问题，具体是你使用的spark-xml包的Scala编译版本，和本地Spark依赖的Scala版本不匹配。

分析步骤： #

1. 查看本地Spark的Scala版本：终端运行spark-shell，开头输出会显示类似Using Scala version 2.12.15的内容，记下这个版本号（比如2.12）。
2. 核对spark-xml包名：你当前用的spark-xml_2.13-0.18.0.jar里的_2.13表示该包基于Scala 2.13编译，若你的Spark依赖Scala 2.12，就会触发这个类找不到的错误。

修复方案： #

• 下载与本地Spark Scala版本匹配的spark-xml jar包：将包名中的Scala版本号替换为你查到的版本，比如Spark用Scala 2.12，就下载spark-xml_2.12-0.18.0.jar。
  • 补充：spark-xml的主版本也要和Spark主版本对应，比如Spark 3.3.x对应spark-xml 0.18.0，Spark 3.4.x对应0.19.0，避免跨版本混用。
• 重新启动PySpark：执行pyspark --jars ~/dp-elt/python/libs/spark-xml_2.xx-0.18.0.jar（把xx替换为实际的Scala版本号）。

非交互式脚本的配置方式 #

如果是编写Python脚本运行（而非pyspark交互式终端），可以在创建SparkSession时直接配置jar依赖：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("XMLReaderTest") \
    .config("spark.jars", "~/dp-elt/python/libs/spark-xml_2.xx-0.18.0.jar") \
    .getOrCreate()

# 执行读取XML的代码
df = spark.read.format("xml").option("rowTag","result").load("ingestion/sap_sf/compound_employee/test/soap_metadata.xml")

内容的提问来源于stack exchange，提问作者Thorsten Niehues