使用Spark XML格式读取文件生成DataFrame时无法获取节点文本值的问题咨询
解决方案
问题本质
使用spark-xml读取带属性的XML节点时,节点上的属性会被自动识别为独立列,但节点本身的纯文本内容不会自动纳入结果列。部分spark-xml版本的解析逻辑为:当节点同时存在属性和纯文本时,不显式指定文本的映射规则,就会直接把节点文本值忽略,不会纳入最终的DataFrame schema。
需要新增的配置项
- 必选配置:
valueTag,用于指定节点纯文本对应的列名,列名可以自定义,只要不与已有的id、type属性列重名即可。 - 可选配置:
ignoreSurroundingSpaces,用于自动去除文本前后的冗余空格,适配示例XML中文本前后带多余空白的场景。
修改后的完整代码
spark.read.format("xml") \ .option("rootTag", "nt:vars") \ .option("rowTag", "nt:var") \ .option("valueTag", "varValue") \ .option("ignoreSurroundingSpaces", "true") \ .load("/FileStore/tables/POC_DB.xml") \ .show(truncate=False)
最终返回效果
调整配置后执行结果会包含3列:
- 原有正常提取的属性列:
id、type - 新增的文本值列:
varValue,存储对应节点的纯文本内容(89:19:00.01、1.9.5.67.2、AB-CD-EF)
内容的提问来源于stack exchange,提问作者Kumar G
相关产品推荐
相关产品推荐

