在Databricks中使用Scala Spark生成带属性的嵌套XML

我完全懂你的困扰——用Databricks的spark-xml库生成带属性的嵌套XML时，官方文档确实没把带属性的嵌套元素这个场景讲透，我之前也踩过类似的坑。下面给你一个具体的实现方案，结合示例一步步来：

先明确目标XML格式 #

假设你想要生成类似这样的嵌套XML（带元素属性）：

<root>
  <Person id="1">
    <Name>Alice</Name>
    <Address city="New York">
      <Street>Main St</Street>
      <Zip>10001</Zip>
    </Address>
  </Person>
  <Person id="2">
    <Name>Bob</Name>
    <Address city="Los Angeles">
      <Street>Oak Ave</Street>
      <Zip>90001</Zip>
    </Address>
  </Person>
</root>

步骤1：准备原始扁平DataFrame #

先从常见的扁平数据开始，模拟你的CSV输入转换后的DataFrame：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

val flatDF = spark.createDataFrame(Seq(
  (1, "Alice", "Main St", "10001", "New York"),
  (2, "Bob", "Oak Ave", "90001", "Los Angeles")
)).toDF("person_id", "name", "street", "zip", "city")

步骤2：构建带属性的嵌套结构 #

spark-xml有个关键约定：如果一个字段是名为_attr的Struct，那么这个Struct里的键值对会被解析为父元素的XML属性；而Struct中的其他字段则成为父元素的子节点。利用这个规则，我们可以构建出带属性的嵌套结构：

val nestedDF = flatDF
  // 先构建<Address>元素：包含city属性，以及Street、Zip子节点
  .withColumn("Address", struct(
    struct(col("city").alias("city")).alias("_attr"), // 这部分对应<Address city="...">的属性
    col("street").alias("Street"),
    col("zip").alias("Zip")
  ))
  // 再构建<Person>元素：包含id属性，以及Name、Address子节点
  .withColumn("Person", struct(
    struct(col("person_id").alias("id")).alias("_attr"), // 对应<Person id="...">的属性
    col("name").alias("Name"),
    col("Address")
  ))
  // 只保留Person字段，作为XML的行元素
  .select("Person")

步骤3：写入生成嵌套XML #

最后用spark-xml的写入器输出XML，指定根节点和行元素的标签：

import com.databricks.spark.xml._

nestedDF.write
  .format("com.databricks.spark.xml")
  .option("rowTag", "Person") // 每个DataFrame行对应<Person>元素
  .option("rootTag", "root") // 最外层的根节点
  .option("nullValue", "") // 可选：处理null值，避免生成空的属性/节点
  .save("/dbfs/path/to/your/output/xml") // 替换成你的输出路径

关键注意事项 #

• 多属性支持：如果需要给一个元素添加多个属性，只需要在_attr Struct里添加更多字段即可。比如给Person添加age属性，就改成struct(col("person_id").alias("id"), col("age").alias("age")).alias("_attr")
• 字段别名：一定要用alias()给字段指定和XML标签/属性完全一致的名称，否则生成的XML标签会和DataFrame字段名一致
• 空值处理：如果原始数据有null，建议用na.fill()提前处理，或者通过nullValue选项指定空值的替代内容，避免XML中出现无效的空属性

内容的提问来源于stack exchange，提问作者devanathan