Python中ET.iterparse无法加载product标签下全部子标签

问题根源 #

使用ET.iterparse()并设置events=('start',)时，触发事件的时机是元素刚开始被解析，此时目标<product>标签的后续子节点（包括<images>之后的内容）还未被加载到元素对象中，所以打印时只能看到已解析的部分，后续子标签自然缺失。

解决方案 #

方案1：切换到'end'事件（推荐） #

将事件类型改为('end',)，触发事件时整个<product>元素已完全解析完成，所有子节点都已绑定到元素对象上：

import xml.etree.ElementTree as ET

for event, elem in ET.iterparse('your_file.xml', events=('end',)):
    if elem.tag == 'product' and elem.get('product-id') == 'B4_1003847_000':
        # 此时elem包含完整的子节点结构
        print(ET.tostring(elem, encoding='unicode'))
        elem.clear()  # 清理元素释放内存
        break  # 找到目标后退出循环

方案2：保留'start'事件，等待元素解析完成 #

如果必须使用'start'事件，需要跟踪目标元素的解析状态，直到触发该元素的'end'事件再处理：

import xml.etree.ElementTree as ET

target_product = None
for event, elem in ET.iterparse('your_file.xml', events=('start', 'end')):
    if event == 'start' and elem.tag == 'product' and elem.get('product-id') == 'B4_1003847_000':
        target_product = elem
    elif event == 'end' and elem is target_product:
        # 此时元素已完全解析
        print(ET.tostring(target_product, encoding='unicode'))
        target_product.clear()
        break

关键说明 #

• iterparse的'start'事件适合提前筛选元素、降低内存占用，但无法获取完整的子节点结构；
• 'end'事件对应元素解析完成的状态，此时能获取完整的XML结构；
• 处理完成后调用elem.clear()可释放内存，避免大XML文件导致的内存溢出问题。

内容的提问来源于stack exchange，提问作者Shaida Muhammad