如何在Scala中使用Spark定义自定义Schema读取XML文件
Spark Scala XML读取自定义Schema问题解决方案
问题原因
- 自定义Schema结构不完整:设置
rowTag = "TABLE"后,Schema需要完整匹配TABLE节点的所有内容,包括TABLE自身的attrname属性(Spark XML中节点属性需加下划线前缀_),以及TABLE下的ROWDATA子节点 - 嵌套层级错误:ROWDATA节点下才是ROW数组,原Schema把ROWDATA直接定义为ArrayType,结构不匹配
- Schema函数无有效返回值:原函数最终未返回完整的根StructType,Spark拿到的Schema不符合预期
正确实现代码
1. 完整Schema定义
import org.apache.spark.sql.types._ def getContainerSchema: StructType = { // 定义ROW节点的属性结构 val rowStruct = new StructType() .add("_Weight", StringType) .add("_Length", StringType) .add("_Unit", StringType) // 定义ROWDATA节点结构,内部是ROW数组 val rowdataStruct = new StructType() .add("ROW", ArrayType(rowStruct)) // 定义TABLE节点的完整结构,包含自身属性和子节点 new StructType() .add("_attrname", StringType) .add("ROWDATA", rowdataStruct) }
2. 读取XML文件
val xmlDF = session.read .option("rootTag", "CONTAINER") .option("rowTag", "TABLE") .schema(getContainerSchema) .xml(filePath)
3. 展开嵌套数据(可选,方便直接查看)
import org.apache.spark.sql.functions.explode val flatDF = xmlDF .withColumn("ROW", explode(col("ROWDATA.ROW"))) .select( col("_attrname").alias("table_type"), col("ROW._Weight").alias("weight"), col("ROW._Length").alias("length"), col("ROW._Unit").alias("unit") ) flatDF.show()
输出结果示例:
+----------+------+------+----+ |table_type|weight|length|unit| +----------+------+------+----+ | Wood| 55| 11| 5| | Metal| 66| 23| 0| | Metal| 44| 22| 0| | Metal| 33| 21| 1| | Plastic| 33| 11| 0| +----------+------+------+----+
内容的提问来源于stack exchange,提问作者Sindu_
相关产品推荐
相关产品推荐

