Azure Databricks增量加载XML数据Schema不匹配（Struct转Array）

你遇到的是spark-xml库自动推断Schema的典型问题：单条Ship节点会被解析为Struct类型，多条则为Array类型，导致增量加载时Schema冲突失败。以下是三种可行的解决方法：

方法1：强制单元素节点解析为数组（最简单） #

spark-xml库内置了treatSingleElementArrays参数，开启后会自动把单个节点解析为包含该元素的数组，从源头上统一Schema类型。

使用示例：

val df = spark.read
  .format("com.databricks.spark.xml")
  .option("rootTag", "Ships")
  .option("treatSingleElementArrays", "true")
  .load("path/to/xml/files")

方法2：提前指定固定Schema #

完全跳过自动推断，手动定义Schema，强制Ship字段为数组类型，彻底避免推断偏差。

示例代码（Scala）：

import org.apache.spark.sql.types._

val shipStruct = StructType(Seq(
  StructField("ShipID", StringType) // 根据实际数据类型调整
))

val rootSchema = StructType(Seq(
  StructField("Ship", ArrayType(shipStruct))
))

val df = spark.read
  .format("com.databricks.spark.xml")
  .option("rootTag", "Ships")
  .schema(rootSchema)
  .load("path/to/xml/files")

方法3：读取后统一转换列类型 #

如果已经读取了数据、无法提前指定Schema，可以通过DataFrame API将Struct类型的Ship字段转换为数组，统一后续处理的Schema。

示例代码（Scala）：

import org.apache.spark.sql.functions._

val unifiedDf = df.withColumn("Ship", 
  when(col("Ship").getClass.getSimpleName == "StructType", array(col("Ship")))
  .otherwise(col("Ship"))
)

或者用Spark SQL语法：

SELECT 
  CASE 
    WHEN typeof(Ship) = 'struct' THEN array(Ship) 
    ELSE Ship 
  END AS Ship
FROM your_table

单条数据示例：

return (<Ships><Ship><ShipID>123</ShipID></Ship></Ships>)

多条数据示例：

return (<Ships><Ship><ShipID>123</ShipID></Ship><Ship><ShipID>234</ShipID></Ship></Ships>)

内容的提问来源于stack exchange，提问作者ChirGors