You need to enable JavaScript to run this app. Python读取多层嵌套XML并转换为pandas DataFrame问题求解
优惠活动
大模型
产品
解决方案
定价
更多

Python读取多层嵌套XML并转换为pandas DataFrame问题求解

XML解析为Pandas DataFrame实现方案

原代码的核心问题如下:

  • 没有按<record>节点分组,所有节点的标签和值都混在同一个全局列表中,无法区分不同行
  • 未处理节点的属性值,只提取了节点文本
  • 手动指定列名的方式容易出错,且无法适配XML中可能存在的字段变化

实现代码

中小体积XML版本

import xml.etree.cElementTree as ET
import pandas as pd

def parse_node(node, row_dict):
    # 提取当前节点值:优先取非空文本,其次取type属性,否则填充NAN
    node_value = "NAN"
    if node.text and node.text.strip():
        node_value = node.text.strip()
    elif "type" in node.attrib:
        node_value = node.attrib["type"]
    row_dict[node.tag] = node_value
    # 递归处理所有子节点
    for child in node:
        parse_node(child, row_dict)

# 解析XML文件
tree = ET.parse('sample.xml')
root = tree.getroot()

all_records = []
# 每个record节点对应DataFrame的一行
for record_node in root.findall('record'):
    current_row = {}
    parse_node(record_node, current_row)
    all_records.append(current_row)

# 转换为DataFrame,自动对齐列,缺失值默认填充NaN,可手动替换为"NAN"
df = pd.DataFrame(all_records).fillna("NAN")
# 如需和你预期的列顺序一致,可手动指定cols后重排
# cols = ["reference_id", "positioning_request_time", ...]
# df = df.reindex(columns=cols, fill_value="NAN")
print(df)

大体积XML优化版本

大体积XML建议使用迭代解析方案,避免一次性加载整个文件到内存导致溢出

import xml.etree.cElementTree as ET
import pandas as pd

def parse_node(node, row_dict):
    node_value = "NAN"
    if node.text and node.text.strip():
        node_value = node.text.strip()
    elif "type" in node.attrib:
        node_value = node.attrib["type"]
    row_dict[node.tag] = node_value
    for child in node:
        parse_node(child, row_dict)

all_records = []
# 迭代解析,仅处理结束事件的record节点
for event, elem in ET.iterparse('sample.xml', events=('end',)):
    if elem.tag == 'record':
        current_row = {}
        parse_node(elem, current_row)
        all_records.append(current_row)
        # 处理完的节点立即清除释放内存
        elem.clear()

df = pd.DataFrame(all_records).fillna("NAN")
print(df)

扩展说明

如果需要保存节点的所有属性(比如utc_off、method等非type属性),可在parse_node函数中加入以下逻辑:

# 所有属性会保存为 标签名_属性名 的新列
for attr_name, attr_val in node.attrib.items():
    row_dict[f"{node.tag}_{attr_name}"] = attr_val

内容的提问来源于stack exchange,提问作者The coder

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 13:57:04