如何在Python中高效提取XML文件指定片段？

针对大体积PowerMart XML文件，全量加载解析会占用大量内存且耗时，推荐使用流式解析方案，只按需处理节点及内部内容，无需加载整个文件到内存。以下是两种可行实现：

方法一：使用xml.etree.ElementTree.iterparse #

iterparse支持增量解析XML，仅在遇到指定节点时处理，内存占用极低。

import xml.etree.ElementTree as ET

def extract_source_nodes(xml_path):
    # 跟踪当前是否处于<SOURCE>节点内部
    in_source = False
    # 存储当前<SOURCE>节点的内容
    current_source = []

    for event, elem in ET.iterparse(xml_path, events=('start', 'end')):
        if event == 'start' and elem.tag == 'SOURCE':
            in_source = True
            current_source.append(f"<{elem.tag}>")
        elif event == 'end' and elem.tag == 'SOURCE':
            in_source = False
            current_source.append(f"</{elem.tag}>")
            # 输出或保存完整的<SOURCE>节点内容
            print(''.join(current_source))
            current_source = []
            elem.clear()
        elif in_source:
            if elem.text and elem.text.strip():
                current_source.append(elem.text.strip())
            current_source.append(f"<{elem.tag}>")
            if elem.tail and elem.tail.strip():
                current_source.append(elem.tail.strip())
            if event == 'end':
                current_source.append(f"</{elem.tag}>")
            elem.clear()

# 调用示例
extract_source_nodes('your_powermart_file.xml')

注意事项 #

• 如果XML包含命名空间（比如<ns:SOURCE>），需修改elem.tag的匹配逻辑，例如判断elem.tag.endswith('SOURCE')。
• 可根据需求调整节点内容的输出方式（如写入文件而非打印）。

方法二：使用xml.sax解析器 #

SAX是基于事件驱动的流式解析标准，适合处理GB级别的超大XML文件。

import xml.sax

class SourceHandler(xml.sax.ContentHandler):
    def __init__(self):
        self.in_source = False
        self.current_content = []

    def startElement(self, name, attrs):
        if name == 'SOURCE':
            self.in_source = True
            self.current_content.append(f"<{name}>")
        elif self.in_source:
            # 拼接子节点的起始标签及属性
            attr_str = ' '.join([f'{k}="{v}"' for k, v in attrs.items()])
            if attr_str:
                self.current_content.append(f"<{name} {attr_str}>")
            else:
                self.current_content.append(f"<{name}>")

    def endElement(self, name):
        if name == 'SOURCE':
            self.in_source = False
            self.current_content.append(f"</{name}>")
            print(''.join(self.current_content))
            self.current_content = []
        elif self.in_source:
            self.current_content.append(f"</{name}>")

    def characters(self, content):
        if self.in_source and content.strip():
            self.current_content.append(content.strip())

# 调用示例
parser = xml.sax.make_parser()
parser.setContentHandler(SourceHandler())
parser.parse('your_powermart_file.xml')

优势 #

• SAX解析器内存占用比iterparse更低，适合极端大文件场景。
• 可灵活处理节点属性、文本内容等细节。

内容的提问来源于stack exchange，提问作者Govind Sajeev