Python读取多层嵌套XML并转换为pandas DataFrame问题求解
XML解析为Pandas DataFrame实现方案
原代码的核心问题如下:
- 没有按
<record>节点分组,所有节点的标签和值都混在同一个全局列表中,无法区分不同行 - 未处理节点的属性值,只提取了节点文本
- 手动指定列名的方式容易出错,且无法适配XML中可能存在的字段变化
实现代码
中小体积XML版本
import xml.etree.cElementTree as ET import pandas as pd def parse_node(node, row_dict): # 提取当前节点值:优先取非空文本,其次取type属性,否则填充NAN node_value = "NAN" if node.text and node.text.strip(): node_value = node.text.strip() elif "type" in node.attrib: node_value = node.attrib["type"] row_dict[node.tag] = node_value # 递归处理所有子节点 for child in node: parse_node(child, row_dict) # 解析XML文件 tree = ET.parse('sample.xml') root = tree.getroot() all_records = [] # 每个record节点对应DataFrame的一行 for record_node in root.findall('record'): current_row = {} parse_node(record_node, current_row) all_records.append(current_row) # 转换为DataFrame,自动对齐列,缺失值默认填充NaN,可手动替换为"NAN" df = pd.DataFrame(all_records).fillna("NAN") # 如需和你预期的列顺序一致,可手动指定cols后重排 # cols = ["reference_id", "positioning_request_time", ...] # df = df.reindex(columns=cols, fill_value="NAN") print(df)
大体积XML优化版本
大体积XML建议使用迭代解析方案,避免一次性加载整个文件到内存导致溢出
import xml.etree.cElementTree as ET import pandas as pd def parse_node(node, row_dict): node_value = "NAN" if node.text and node.text.strip(): node_value = node.text.strip() elif "type" in node.attrib: node_value = node.attrib["type"] row_dict[node.tag] = node_value for child in node: parse_node(child, row_dict) all_records = [] # 迭代解析,仅处理结束事件的record节点 for event, elem in ET.iterparse('sample.xml', events=('end',)): if elem.tag == 'record': current_row = {} parse_node(elem, current_row) all_records.append(current_row) # 处理完的节点立即清除释放内存 elem.clear() df = pd.DataFrame(all_records).fillna("NAN") print(df)
扩展说明
如果需要保存节点的所有属性(比如utc_off、method等非type属性),可在parse_node函数中加入以下逻辑:
# 所有属性会保存为 标签名_属性名 的新列 for attr_name, attr_val in node.attrib.items(): row_dict[f"{node.tag}_{attr_name}"] = attr_val
内容的提问来源于stack exchange,提问作者The coder
相关产品推荐
相关产品推荐

