Spark SQL解析XML：如何通过XPath提取嵌套节点值？

前提准备 #

Spark本身没有内置XML解析支持，需要引入com.databricks:spark-xml依赖包。根据你的Spark版本选择对应版本（比如Spark 3.x可使用0.15.0版本）：

• Spark Submit启动时添加：--packages com.databricks:spark-xml_2.12:0.15.0
• Maven依赖：

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>spark-xml_2.12</artifactId>
  <version>0.15.0</version>
</dependency>

方法1：处理XML字符串列（用XPath提取） #

如果你的数据是以XML字符串形式存储在DataFrame列中，使用Spark SQL的xpath_string函数可以直接提取目标节点的文本值，注意XML节点大小写敏感：

示例代码（Scala）

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

val spark = SparkSession.builder()
  .appName("XMLParseDemo")
  .master("local[*]")
  .getOrCreate()

// 模拟含XML字符串的DataFrame
val xmlData = Seq("<Account><ID1><other><ID>123</ID></other></ID1></Account>")
val df = spark.createDataFrame(xmlData).toDF("xml_content")

// 用XPath提取ID值
df.select(xpath_string(col("xml_content"), "/Account/ID1/other/ID/text()").alias("id_value")).show()

对应的Spark SQL语句

SELECT xpath_string(xml_content, '/Account/ID1/other/ID/text()') AS id_value FROM your_table;

这里用/Account/ID1/other/ID/text()精确匹配节点路径，text()用于提取节点内的文本值；如果XML结构稳定，也可以用简化的//ID/text()直接定位所有ID节点，但前者更精确。

方法2：直接读取XML文件（无需XPath） #

如果是直接读取XML文件，可通过spark-xml的配置指定根节点，之后直接用点符号访问嵌套字段：

val df = spark.read
  .format("com.databricks.spark.xml")
  .option("rowTag", "Account") // 指定根节点为Account
  .load("path/to/your/xml/file.xml")

// 直接访问嵌套字段
df.select("ID1.other.ID").show()

常见问题排查 #

• 检查XPath路径是否正确：XML节点大小写必须完全匹配，比如id和ID是不同节点
• 不要遗漏text()：如果只写/Account/ID1/other/ID，返回的是节点对象而非文本值
• 确认依赖包已正确引入：如果找不到xpath_string函数或XML读取格式，大概率是依赖未添加

内容的提问来源于stack exchange，提问作者Gourav Joshi