PySpark解析XML遇ClassNotFoundException问题求助及替代方案咨询

一、修正SparkSession配置错误 #

你的配置存在两个核心问题：

• 参数名拼写错误：spark jars应为spark.jars（Spark配置参数采用点号分隔，空格会被判定为无效参数）。
• 冗余无效配置：spark.executor.extraLibrary并非合法参数，无需添加；spark.driver.extraClassPath和spark.executor.extraClassPath在指定spark.jars后可省略，因为spark.jars会自动将jar包分发到Driver和Executor的classpath中。

正确配置示例：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Apache spark using pyspark") \
    .config("spark.jars", "C:/Users/baps/Downloads/spark-xml_2.12-0.9.0.jar") \
    .getOrCreate()

二、校验版本兼容性 #

spark-xml的版本必须与你的Spark、Scala版本严格匹配：

• spark-xml_2.12-0.9.0.jar对应Scala 2.12版本，需确认你的PySpark依赖的Scala版本一致（可通过spark.sparkContext.version查看Spark版本，再匹配对应的spark-xml版本，比如Spark 3.x需搭配spark-xml 0.12.0及以上版本）。

三、验证jar包加载状态 #

执行以下代码确认spark-xml类是否成功加载：

try:
    spark.sparkContext._jvm.com.databricks.spark.xml.XmlDataSource
    print("spark-xml jar包加载成功")
except Exception as e:
    print("jar包加载失败，错误信息：", e)

替代方案：不依赖spark-xml jar包解析XML #

若jar包加载问题无法解决，可通过Python原生XML库先解析文件，再转为Spark DataFrame：

本地XML文件解析 #

import xml.etree.ElementTree as ET
from pyspark.sql import Row

def parse_single_xml(file_path):
    tree = ET.parse(file_path)
    root = tree.getroot()
    rows = []
    # 根据你的XML结构调整节点遍历逻辑，此处假设Root下子节点为数据行
    for row_node in root.findall("./*"):
        row_dict = {elem.tag: elem.text for elem in row_node}
        rows.append(Row(**row_dict))
    return rows

# 解析本地XML文件
parsed_data = parse_single_xml("/content/xml")
df = spark.createDataFrame(parsed_data)
df.show()

分布式存储XML文件解析 #

如果XML文件存储在HDFS等分布式系统，用Spark RDD批量解析：

def parse_xml_content(content):
    root = ET.fromstring(content)
    rows = []
    for row_node in root.findall("./*"):
        row_dict = {elem.tag: elem.text for elem in row_node}
        rows.append(Row(**row_dict))
    return rows

# 读取所有XML文件内容并解析
xml_rdd = spark.sparkContext.wholeTextFiles("/path/to/xml/dir").map(lambda x: x[1])
parsed_rdd = xml_rdd.flatMap(parse_xml_content)
df = spark.createDataFrame(parsed_rdd)
df.show()

内容的提问来源于stack exchange，提问作者GALAXY A50