You need to enable JavaScript to run this app. 如何在Scala中使用Spark定义自定义Schema读取XML文件
优惠活动
大模型
产品
解决方案
定价
更多

如何在Scala中使用Spark定义自定义Schema读取XML文件

Spark Scala XML读取自定义Schema问题解决方案

问题原因

  • 自定义Schema结构不完整:设置rowTag = "TABLE"后,Schema需要完整匹配TABLE节点的所有内容,包括TABLE自身的attrname属性(Spark XML中节点属性需加下划线前缀_),以及TABLE下的ROWDATA子节点
  • 嵌套层级错误:ROWDATA节点下才是ROW数组,原Schema把ROWDATA直接定义为ArrayType,结构不匹配
  • Schema函数无有效返回值:原函数最终未返回完整的根StructType,Spark拿到的Schema不符合预期

正确实现代码

1. 完整Schema定义

import org.apache.spark.sql.types._

def getContainerSchema: StructType = {
  // 定义ROW节点的属性结构
  val rowStruct = new StructType()
    .add("_Weight", StringType)
    .add("_Length", StringType)
    .add("_Unit", StringType)

  // 定义ROWDATA节点结构,内部是ROW数组
  val rowdataStruct = new StructType()
    .add("ROW", ArrayType(rowStruct))

  // 定义TABLE节点的完整结构,包含自身属性和子节点
  new StructType()
    .add("_attrname", StringType)
    .add("ROWDATA", rowdataStruct)
}

2. 读取XML文件

val xmlDF = session.read
  .option("rootTag", "CONTAINER")
  .option("rowTag", "TABLE")
  .schema(getContainerSchema)
  .xml(filePath)

3. 展开嵌套数据(可选,方便直接查看)

import org.apache.spark.sql.functions.explode

val flatDF = xmlDF
  .withColumn("ROW", explode(col("ROWDATA.ROW")))
  .select(
    col("_attrname").alias("table_type"),
    col("ROW._Weight").alias("weight"),
    col("ROW._Length").alias("length"),
    col("ROW._Unit").alias("unit")
  )

flatDF.show()

输出结果示例:

+----------+------+------+----+
|table_type|weight|length|unit|
+----------+------+------+----+
|      Wood|    55|    11|   5|
|     Metal|    66|    23|   0|
|     Metal|    44|    22|   0|
|     Metal|    33|    21|   1|
|   Plastic|    33|    11|   0|
+----------+------+------+----+

内容的提问来源于stack exchange,提问作者Sindu_

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.16 20:15:03