You need to enable JavaScript to run this app. 使用Spark XML格式读取文件生成DataFrame时无法获取节点文本值的问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

使用Spark XML格式读取文件生成DataFrame时无法获取节点文本值的问题咨询

解决方案

问题本质

使用spark-xml读取带属性的XML节点时,节点上的属性会被自动识别为独立列,但节点本身的纯文本内容不会自动纳入结果列。部分spark-xml版本的解析逻辑为:当节点同时存在属性和纯文本时,不显式指定文本的映射规则,就会直接把节点文本值忽略,不会纳入最终的DataFrame schema。

需要新增的配置项

  • 必选配置:valueTag,用于指定节点纯文本对应的列名,列名可以自定义,只要不与已有的id、type属性列重名即可。
  • 可选配置:ignoreSurroundingSpaces,用于自动去除文本前后的冗余空格,适配示例XML中文本前后带多余空白的场景。

修改后的完整代码

spark.read.format("xml") \
  .option("rootTag", "nt:vars") \
  .option("rowTag", "nt:var") \
  .option("valueTag", "varValue") \
  .option("ignoreSurroundingSpaces", "true") \
  .load("/FileStore/tables/POC_DB.xml") \
  .show(truncate=False)

最终返回效果

调整配置后执行结果会包含3列:

  • 原有正常提取的属性列:id、type
  • 新增的文本值列:varValue,存储对应节点的纯文本内容(89:19:00.01、1.9.5.67.2、AB-CD-EF)

内容的提问来源于stack exchange,提问作者Kumar G

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 19:36:11