如何解析含嵌套XML列的XML文件？Spark Scala场景求助

我之前在Spark Scala项目里也碰到过完全一样的困扰——列里存的嵌套XML被当成字符串加载，没法像SQL Server的XML类型那样直接用点运算符访问节点。下面是我试过的几个可行方案，你可以参考下：

方案1：使用spark-xml的from_xml函数结构化解析 #

这是最直接的方法，利用spark-xml库提供的from_xml函数，把字符串格式的XML解析成Spark的结构化数据（比如StructType）。

步骤如下：

1. 确保项目依赖了spark-xml库（比如Maven依赖：com.databricks:spark-xml_2.12:0.15.0，版本根据你的Spark版本调整）
2. 定义内层XML对应的Schema
3. 调用from_xml解析字符串列，生成结构化列

示例代码：

import org.apache.spark.sql.functions.{from_xml, regexp_replace, col}
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}

// 假设内层XML的结构是<root><name>xxx</name><age>xx</age></root>
val innerXmlSchema = new StructType()
  .add("name", StringType)
  .add("age", IntegerType)

// 先处理XML转义字符（你的数据里有&lt;，需要先转成<）
val dfWithUnescapedXml = originalDF.withColumn(
  "unescaped_xml",
  regexp_replace(regexp_replace(col("xml"), "&lt;", "<"), "&gt;", ">")
)

// 解析XML字符串为结构化列
val parsedDF = dfWithUnescapedXml.withColumn(
  "xml_struct",
  from_xml(col("unescaped_xml"), innerXmlSchema, Map("rowTag" -> "root")) // rowTag指定XML的根节点
)

// 现在可以用点运算符访问节点了
parsedDF.select("id", "xml_struct.name", "xml_struct.age").show()

方案2：自定义UDF解析XML #

如果内层XML结构复杂或者from_xml满足不了需求，可以写一个自定义UDF，用Scala原生的XML解析库来处理字符串。

示例代码：

import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.functions.col
import scala.xml.XML

// 定义一个case class对应XML结构
case class User(name: String, age: Int)

// 自定义UDF：解析XML字符串返回User对象
val parseXmlUdf = udf((xmlStr: String) => {
  val unescapedStr = xmlStr.replace("&lt;", "<").replace("&gt;", ">")
  val xml = XML.loadString(unescapedStr)
  User(
    (xml \ "name").text,
    (xml \ "age").text.toInt
  )
})

// 应用UDF
val parsedDF = originalDF.withColumn("xml_data", parseXmlUdf(col("xml")))

// 访问节点
parsedDF.select("id", "xml_data.name", "xml_data.age").show()

方案3：用XPath提取特定节点（适合只需要部分字段的场景） #

如果不需要完整解析整个XML，只是想提取几个特定节点的值，可以用UDF结合XPath来实现，这样更高效。

示例代码：

import org.apache.spark.sql.functions.{udf, col, lit}
import scala.xml.XML

// 自定义UDF提取指定XPath的内容
val extractXpathUdf = udf((xmlStr: String, xpath: String) => {
  val unescapedStr = xmlStr.replace("&lt;", "<").replace("&gt;", ">")
  val xml = XML.loadString(unescapedStr)
  (xml \ xpath).text
})

// 提取name节点
val dfWithName = originalDF.withColumn("name", extractXpathUdf(col("xml"), lit("name")))
// 提取age节点并转成Int
val dfWithAge = dfWithName.withColumn("age", extractXpathUdf(col("xml"), lit("age")).cast(IntegerType))

dfWithAge.select("id", "name", "age").show()

注意事项 #

• 一定要先处理XML转义字符：你的数据里的<和>是HTML转义后的字符，必须先替换回<和>才能正常解析
• 如果内层XML的结构不固定（比如不同行的XML节点不一样），可以考虑用MapType来存储解析后的结果，或者用方案3按需提取字段

内容的提问来源于stack exchange，提问作者Gourav Dutta