使用PySpark+spark-xml解析含缺失属性标签的多XML文件遇结构不一致问题

方案1：解析阶段强制统一结构 #

spark-xml提供了配置参数来规范标签与属性的解析格式，提前设置这些参数，可让所有<salary>标签不管是否带属性，都解析成统一的结构体类型：

• 设置attributePrefix：指定属性的前缀（比如"_attr_"），标签的属性会被解析为结构体中带该前缀的字段
• 设置valueTag：指定标签文本值对应的字段名（比如"_value"）

示例代码：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("XMLParsing")
  .getOrCreate()

val df = spark.read
  .format("com.databricks.spark.xml")
  .option("attributePrefix", "_attr_")
  .option("valueTag", "_value")
  .load("path/to/xml/files")

处理后效果：

• 带属性的<salary value="5000">会解析为结构体：{_attr_: {value: "5000"}, _value: null}（若标签无文本值）
• 不带属性的<salary>5000</salary>会解析为结构体：{_attr_: null, _value: "5000"}
  两种情况结构完全一致，后续合并不会出现类型不匹配问题。

方案2：解析后统一数据类型 #

如果已完成解析，数据中存在两种类型的salary列，可通过Spark条件函数将其统一为同一种类型：

选项A：统一为结构体类型 #

使用when+struct函数，将字符串类型的salary转换为和结构体一致的格式：

import org.apache.spark.sql.functions.{when, struct, col, lit}

val unifiedDf = df.withColumn("salary",
  when(col("salary").isString,
    struct(col("salary").as("_value"), lit(null).as("_VALUE"))
  ).otherwise(col("salary"))
)

选项B：统一为字符串类型 #

若不需要保留属性信息，直接提取结构体中的值，和字符串类型统一：

import org.apache.spark.sql.functions.{when, col}

val unifiedDf = df.withColumn("salary",
  when(col("salary").isStruct, col("salary._value"))
  .otherwise(col("salary"))
)

方案3：自定义UDF处理复杂场景 #

如果有更复杂的属性和文本值组合情况，可编写UDF处理类型转换：

import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.types.{StructType, StructField, StringType}

val normalizeSalary = udf((value: Any) => {
  value match {
    case s: String => Map("_value" -> s, "_VALUE" -> null)
    case struct: Map[String, Any] => struct
    case _ => null
  }
}, StructType(Seq(
  StructField("_value", StringType),
  StructField("_VALUE", StringType)
)))

val unifiedDf = df.withColumn("salary", normalizeSalary(col("salary")))

内容的提问来源于stack exchange，提问作者Rahustark