Jupyter Notebook中使用spark-xml读取XML时导入com模块报错
报错根因
你遇到的报错是PySpark接入spark-xml时最常见的新手坑,核心原因有两个:
- 你写的
import com.databricks.spark.xml._是Scala语言的导入语法,Python解释器执行这行代码时,会把com当作本地Python模块去查找,自然会抛出“找不到对应模块”的错误 - spark-xml是运行在JVM侧的数据源组件,PySpark环境下完全不需要从Python层导入Scala/Java的包路径,多数人踩坑是因为直接照搬了Scala版的组件使用文档
正确操作流程
- 第一步:调整依赖配置的版本匹配性。原配置里的
com.databricks:spark-xml_2.10:0.4.1是适配Scala 2.10的远古版本,需要替换成和你本地Spark编译使用的Scala版本、Spark大版本匹配的依赖坐标,且这段环境变量配置必须在导入pyspark相关模块之前执行:
from os import environ # 示例:Spark 3.x 搭配Scala 2.12环境的匹配版本 environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.databricks:spark-xml_2.12:0.16.0 pyspark-shell'
- 第二步:正常初始化Spark会话,全程不要写任何指向
com.databricks路径的Python导入语句:
from pyspark.sql import SparkSession spark = SparkSession.builder.appName("xml_reader").getOrCreate()
- 第三步:读取XML文件时,直接通过数据源格式指定spark-xml组件即可,无需额外导入类:
# 示例读取代码,rowTag需要替换为你XML文件中对应单条记录的节点标签 xml_df = spark.read.format("xml").options(rowTag="record_node").load("你的XML文件存储路径")
补充说明:Spark 2.4及更早版本如果无法识别xml数据源格式,才需要通过Py4J桥接调用JVM侧的类完成数据源注册,新版本Spark完全不需要这类额外操作。
内容的提问来源于stack exchange,提问作者Reevus
相关产品推荐
相关产品推荐

